Kimi

Kimi-VL简介

Kimi-VL是由月之暗面开发的轻量级多模态视觉语言模型，基于轻量级MoE架构Moonlight（总参数16B，激活参数2.8B）和原生分辨率的MoonViT视觉编码器（400M参数）。该模型支持图像、视频、文档等多种输入形式，在图像理解、数学推理、多学科题目处理及OCR任务中表现优异。其在长上下文（128K）和复杂推理方面具有显著优势，并在多项基准测试中超越了GPT-4o等模型。

为提升推理能力，Kimi-VL推出了Kimi-VL-Thinking版本，通过长链推理微调与强化学习优化，仅使用2.8B激活参数即可在高难度推理任务中达到接近甚至超过大型模型的性能。

Kimi-VL的核心功能

• 多模态输入支持：可处理单图、多图、视频和长文档等多种格式。
• 图像细粒度分析：具备识别复杂场景和细节的能力。
• 数学与逻辑推理：在结合视觉信息的数学和逻辑任务中表现出色。
• OCR与文本识别：在光学字符识别任务中具有高准确率。
• 智能体应用：适用于Agent任务，如屏幕快照解析和导航。
• 长思考能力：Kimi-VL-Thinking版本支持深度推理。

Kimi-VL的技术实现

• 架构设计：
  • 视觉编码器（MoonViT）：基于Vision Transformer结构，支持原生分辨率图像处理，采用打包方法将图像划分为块并展平为一维序列。
  • MLP投影模块：用于连接视觉编码器与语言模型，压缩图像特征并映射到嵌入空间。
  • MoE语言模型（Moonlight）：轻量级架构，基于6B总参数、2.8B激活参数，经过大量文本和多模态数据训练。
• 预训练阶段：
  • 独立ViT训练：专注于视觉特征提取。
  • 联合训练：包括预训练、冷却和长上下文激活三个阶段。
  • 后训练阶段：分别在32K和128K上下文中进行优化，提升模型表现。
• 性能优化：支持128K上下文窗口，提升长视频和长文档处理能力；采用Long-CoT微调和强化学习增强推理能力。

Kimi-VL的优势特点

• 多模态推理能力强：在MMMU、MathVista等基准测试中表现突出。
• 超长上下文支持：128K上下文窗口使其在长文档和视频任务中具有显著优势。
• 卓越的视觉感知：在OCR、高分辨率图像处理等方面表现优异。

Kimi-VL项目资源

• GitHub仓库：https://github.com/MoonshotAI/Kimi-VL
• HuggingFace模型库：https://huggingface.co/collections/moonshotai/kimi-vl
• 技术论文：https://github.com/MoonshotAI/Kimi-VL/blob/main/Kimi-VL.pdf

Kimi-VL的应用场景

• 智能客服：支持图文交互式对话。
• 教育辅导：提供图文结合的学习辅助。
• 内容创作：支持图文与视频生成。
• 医疗辅助：用于医学影像分析。
• 企业办公：处理长文档并提取关键信息。