多模态

飞猪AI问一问

飞猪AI问一问是一款基于多智能体协作的AI旅行助手,可快速生成包含机票、酒店、景点路线的完整旅行方案,并支持预算调节和实时信息同步。用户可通过文字、语音或方言交互,系统根据实时位置推荐周边服务,适合多种旅行场景,提供个性化、便捷的旅行规划体验。

​LobeChat

一个开源、高性能的聊天机器人框架,支持语音合成、多模态和可扩展(函数调用)插件系统。支持一键免费部署您的私人 ChatGPT/LLM Web 应用程序。

明岐

明岐是上海交通大学LoCCS实验室开发的医学多模态大模型,专注于罕见病精准诊断。它整合影像、病历与化验数据,采用双引擎架构实现高精度、可解释的诊断,准确率超92%。通过模型优化技术,支持低成本本地化部署,适用于基层医疗、远程服务及科研教学,助力医疗资源均衡发展。

VITA

VITA-Audio 是一款开源的端到端多模态语音大模型,具备低延迟、高推理效率和多模态交互能力。其核心创新包括轻量级 MCTP 模块和四阶段渐进式训练策略,使模型在语音识别、文本转语音和口语问答等任务中表现优异。支持实时对话、智能客服、教育辅助、医疗辅助及内容创作等多种应用场景,适用于各类语音交互系统。

Reel.AI

Reel.AI是一款利用AI技术生成短视频内容的应用程序,支持文本、图片等多种输入形式,生成高质量的短剧和视频内容。其核心功能包括文本到视频转换、多模态内容生成、情感共鸣驱动的短剧创作及交互式体验设计。Reel.AI基于自主研发的Reel Diffusion模型,广泛应用于娱乐消费、内容创作、广告营销及教育等领域。

BeaGo

BeaGo是一款由零一万物开发的智能AI搜索助手,集文字与图像搜索于一体,具备强大的语义理解和个性化推荐功能。它能够快速生成简洁的信息摘要,提供可靠的搜索结果,并支持划词搜索和图文结合展示,广泛适用于日常生活、学术研究、工作辅助及学习辅导等多个场景。

MME

MME-CoT 是一个用于评估大型多模态模型链式思维推理能力的基准测试框架,涵盖数学、科学、OCR、逻辑、时空和一般场景六大领域,包含1,130个问题,每题均附关键推理步骤和图像描述。该框架引入推理质量、鲁棒性和效率三大评估指标,全面衡量模型推理能力,并揭示当前模型在反思机制和感知任务上的不足,为模型优化和研究提供重要参考。

Llama 4

Llama 4 是 Meta 推出的多模态 AI 模型系列,采用混合专家(MoE)架构,提升计算效率。包含 Scout 和 Maverick 两个版本,分别适用于不同场景。Scout 支持 1000 万 token 上下文,Maverick 在图像理解和创意写作方面表现优异。Llama 4 支持 200 种语言,具备强大的语言生成与多模态处理能力,适用于对话系统、文本生成、代码辅助、图像分析等多个

DanceGRPO

DanceGRPO 是由字节跳动与香港大学联合开发的视觉生成强化学习框架,支持文本到图像、文本到视频、图像到视频等多种任务,兼容多种生成模型与奖励机制。其通过强化学习优化生成过程,提升视觉内容质量与一致性,降低显存压力,提高训练效率与稳定性,适用于视频生成和多模态内容创作。

Gemini Robotics

Gemini Robotics 是谷歌 DeepMind 基于 Gemini 2.0 开发的机器人系统,融合视觉-语言-动作模型,支持复杂任务执行与环境适应。具备三维空间理解、物体检测、轨迹预测和开放词汇指令执行能力,适用于工业制造、物流仓储、家庭服务、医疗健康等多个领域。系统通过数据驱动训练,结合真实操作与多模态信息,实现高效、灵活的机器人控制。