多模态

Wegic.ai

一款面向未来的 AI网页设计师,通过简单的聊天等多模态交互来完成网站的设计、修改和上线全流程。

YAYI2

中科闻歌研发的一款新一代开源大语言模型,中文名为“雅意”。该模型包含 Base 和 Chat 版本,参数规模达到 30B,基于 Transformer 架构构建。

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型,参数量为968M。它基于LLaVA架构优化,能够处理视觉与文本输入,显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能,广泛应用于内容审核、智能助手、视觉搜索等领域。

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

Data Formulator

Data Formulator是由微软研究院开发的开源AI数据可视化工具,结合图形化界面与自然语言输入,支持复杂数据转换和图表迭代设计。用户可通过拖拽或指令创建可视化,AI自动处理数据转换和代码生成。具备数据验证、样式调整和多模态交互等功能,适用于数据分析、概念扩展及可视化优化场景。

MagicAvatar

MagicAvatar由字节跳动开发,是一款主打多模态输入生成的多模态框架,可以将文本、视频和音频等不同输入方式转化为动作信号,从而生成和动画化一个虚拟人物。

DocMind

DocMind是一款基于Transformer架构的文档智能大模型,融合了深度学习、NLP和CV技术,用于处理富文本文档的复杂结构和视觉信息。它能够精准识别文档实体、捕捉文本依赖关系并深入理解文档内容,支持知识库结合,提升专业文档理解能力。DocMind还具备自动执行文档相关任务的功能,如问题解答、文档分类整理等,广泛应用于法律、教育、金融等领域。

MinMo

MinMo是阿里巴巴通义实验室推出的多模态语音交互大模型,具备高精度语音识别与生成能力。支持情感表达、方言转换、音色模仿及全双工交互,适用于智能客服、教育、医疗等多个领域,提升人机对话的自然度与效率。

探一下

探一下是一款依托于多模态大模型技术的AI视觉搜索工具,用户可通过其摄像头识别花草、宠物、潮玩等物体,获取旅游讲解、商品药品详情等信息,同时具备趣味解读图片的功能,支持文字翻译与场景触发滤镜,适用于多种生活场景。 ---

VITA

VITA-Audio 是一款开源的端到端多模态语音大模型,具备低延迟、高推理效率和多模态交互能力。其核心创新包括轻量级 MCTP 模块和四阶段渐进式训练策略,使模型在语音识别、文本转语音和口语问答等任务中表现优异。支持实时对话、智能客服、教育辅助、医疗辅助及内容创作等多种应用场景,适用于各类语音交互系统。