多模态

TaoAvatar

TaoAvatar是阿里巴巴推出的高保真、轻量级3D全身虚拟人技术,基于3D高斯溅射(3DGS)实现照片级真实感的虚拟形象生成。支持多模态驱动,具备高帧率实时渲染能力,适用于AR、移动设备及高清显示平台。其轻量级架构结合深度学习优化,提升了运行效率与交互自然度,广泛应用于电商直播、全息通信、虚拟会议、在线教育及娱乐等领域。

OmAgent

OmAgent是由Om AI与浙江大学滨江研究院联合开发的多模态语言代理框架,支持文本、图像、视频等多种输入形式,简化设备端智能代理的开发流程。它具备高效模型集成、灵活算法接口和复杂任务处理能力,适用于视频监控、内容推荐、教育辅助等场景,提升设备智能化水平和用户体验。

云从科技从容大模型

云从科技从容大模型是一个多功能、跨行业的AI大模型,它通过集成云从科技的核心技术,为用户提供个性化、智能化的服务和解决方案。

CAR

CAR(Certainty-based Adaptive Reasoning)是字节跳动联合复旦大学推出的自适应推理框架,旨在提升大型语言模型(LLM)和多模态大型语言模型(MLLM)的推理效率与准确性。该框架通过动态切换短答案和长形式推理,根据模型对答案的置信度(PPL)决定是否进行详细推理,从而在保证准确性的同时节省计算资源。CAR适用于视觉问答(VQA)、关键信息提取(KIE)等任务,在数学

AndroidLab

AndroidLab 是一款面向 Android 自主代理的训练与评估框架,集成了文本和图像模态操作环境,提供标准化的基准测试任务。它通过支持多种模型类型(LLMs 和 LMMs),覆盖九个应用场景的 138 项任务,有效提升了开源模型的性能。此外,AndroidLab 提供了丰富的评估指标和操作模式,助力研究者优化模型表现并推动开源解决方案的发展。

Step

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。

NeMo

NeMo 是一款基于 NVIDIA 技术的端到端云原生框架,专为生成式 AI 模型的设计与部署而打造。它具备模块化架构、多模态支持、优化算法及分布式训练能力,可应用于语音识别、自然语言处理、文本到语音转换、对话式 AI 等多个领域,同时支持预训练模型微调和端到端开发流程,为企业提供高效灵活的解决方案。

FastVLM

FastVLM是一款高效的视觉语言模型,采用FastViTHD混合视觉编码器,显著提升高分辨率图像处理速度并减少token数量。其在保持高性能的同时,降低了计算成本和模型复杂度。适用于视觉问答、图文匹配、文档理解、图像描述生成等多模态任务,具备良好的实用性和扩展性。

Agent

Agent-S 是一款基于图形用户界面(GUI)的人机交互自动化框架,通过经验增强的分层规划和代理-计算机接口(ACI),实现了复杂任务的自动化分解与执行。它结合多模态大型语言模型(MLLMs)进行推理和控制,并具备持续学习和跨操作系统通用性的特点,适用于办公自动化、网页交互、个人助理、客户服务和教育等多个场景。

日日新SenseNova V6

日日新SenseNova V6是商汤科技推出的第六代多模态大模型,基于6000亿参数架构,支持文本、图像、视频的原生融合。具备强推理、长记忆与情感表达能力,适用于视频分析、教育辅导、智能客服、具身智能等多个领域,提升交互体验与内容处理效率。