多模态模型

1. 首页
2. 多模态模型

OmniHuman

OmniHuman是字节跳动推出的多模态人类视频生成框架，基于单张图像和运动信号生成高逼真视频。支持音频、姿势及组合驱动，适用于多种图像比例和风格。采用混合训练策略和扩散变换器架构，提升生成效果与稳定性，广泛应用于影视、游戏、教育、广告等领域。

AI项目与工具 2025年06月12日 43 点赞 0 评论 336 浏览

SmolDocling

SmolDocling-256M-preview 是一款轻量级多模态文档处理模型，能将图像文档高效转换为结构化文本，支持文本、公式、图表等多种元素识别。模型参数量仅256M，推理速度快，适合学术与技术文档处理。具备OCR、布局识别、格式导出等功能，并兼容Docling，适用于文档数字化、科学研究及移动环境应用。

AI项目与工具 2025年03月22日 98 点赞 0 评论 336 浏览

StarVector

StarVector 是一个开源多模态视觉语言模型，支持图像和文本到可编辑 SVG 文件的转换。采用多模态架构，结合图像编码与语言模型，生成结构紧凑、语义丰富的 SVG 内容。基于 SVG-Stack 数据集训练，适用于图标设计、艺术创作、数据可视化等多种场景，具备良好的性能和扩展性。

AI项目与工具 2025年06月12日 68 点赞 0 评论 327 浏览

LiveCC

LiveCC是一款由新加坡国立大学Show Lab与字节跳动联合开发的实时视频解说模型，基于自动语音识别字幕进行训练。它能够实时生成自然流畅的视频评论和回答相关问题，适用于体育、新闻、教育等多个场景。模型采用流式训练方法，结合大规模数据集和Qwen2-VL架构，具备低延迟和高质量的生成能力。LiveCC通过LiveSports-3K基准测试评估性能，广泛应用于视频内容分析与智能交互场景。

AI项目与工具 2025年06月11日 100 点赞 0 评论 326 浏览

GO

GO-1是智元机器人推出的首个通用具身基座模型，采用ViLLA架构，结合多模态大模型与混合专家系统，具备场景感知、动作理解和精细执行能力。支持小样本快速泛化、跨本体部署与持续进化，广泛应用于零售、制造、家庭及科研等领域，推动具身智能技术发展。

AI项目与工具 2025年06月12日 74 点赞 0 评论 325 浏览

NEXUS

NEXUS-O是一款由多家知名机构联合开发的多模态AI模型，能够处理音频、图像、视频和文本等多种输入，并以相应形式输出结果。它在视觉理解、音频问答、语音识别和翻译等方面表现出色，具备强大的跨模态对齐与交互能力。模型基于视觉语言预训练，结合高质量音频数据提升性能，并通过多模态任务联合训练增强泛化能力。适用于智能语音助手、视频会议、教育、智能驾驶、医疗健康等多个领域。

AI项目与工具 2025年06月12日 84 点赞 0 评论 323 浏览

InternVL3

InternVL3是上海人工智能实验室推出的多模态大型语言模型，具备文本、图像、视频等多模态数据处理能力。采用原生多模态预训练方法，提升语言与视觉理解效率，并支持工具使用、3D视觉、工业图像分析等复杂任务。模型可通过API部署，适用于智能交互、图像识别、视频分析及客服系统等多种场景。

AI项目与工具 2025年06月11日 68 点赞 0 评论 323 浏览

Qihoo

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过稀疏代理标记注意力机制显著降低计算复杂度，支持文本到图像、视频及多视图生成。具备高效生成能力和多任务适应性，适用于创意设计、视频制作、教育、游戏开发及广告等多个领域。

AI项目与工具 2025年06月12日 26 点赞 0 评论 322 浏览

DoraCycle

DoraCycle是由新加坡国立大学Show Lab开发的一种多模态生成模型，通过文本与图像间的双向循环一致性学习，实现跨模态信息转换与对齐。其核心优势在于无需大量标注数据即可完成领域适应，支持风格化设计、虚拟角色生成等多样化任务。模型采用自监督学习和梯度裁剪等技术提升训练稳定性，适用于广告、教育等多个应用场景。

AI项目与工具 2025年06月12日 19 点赞 0 评论 314 浏览

混元图像2.0

混元图像2.0是腾讯开发的AI图像生成工具，支持文本、语音、草图等多种输入方式，具备实时生成能力。其采用单双流DiT架构和多模态大语言模型，生成图像写实性强、细节丰富，且响应速度快，适用于创意设计、广告营销、教育、游戏等多个领域。用户可通过网页端直接操作，实现高效的图像创作体验。

AI项目与工具 2025年06月11日 41 点赞 0 评论 301 浏览