模型

TrackGo

TrackGo是一种先进的AI视频生成技术,利用自由形状的遮罩和箭头提供精确的运动控制。其核心技术TrackAdapter无缝集成到预训练的视频生成模型中,通过调整时间自注意力层来激活与运动相关的区域。TrackGo在视频质量、图像质量和运动忠实度方面表现出色,适用于影视制作、动画制作、虚拟现实(VR)、增强现实(AR)和游戏开发等多个领域。

Moshi

Moshi是一款由法国Kyutai实验室开发的端到端实时音频多模态AI模型,具备听、说、看的能力,并能模拟70种不同的情绪和风格进行交流。Moshi具有多模态交互、情绪和风格表达、实时响应低延迟、语音理解与生成、文本和音频混合预训练以及本地设备运行等特点。它支持英语和法语,主要应用于虚拟助手、客户服务、语言学习、内容创作、辅助残障人士、研究和开发、娱乐和游戏等领域。

Gemma 2

Gemma 2是一款由谷歌DeepMind开发的开源人工智能模型,提供90亿和270亿参数版本。它具有卓越的性能、高效的推理速度和广泛的硬件兼容性,适用于各种应用场景。Gemma 2不仅支持多种AI框架,还提供了丰富的资源和工具,以支持开发者和研究人员负责任地构建和部署AI。

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型,融合视觉与听觉信息,具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练,采用动态权重调整机制,支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域,具备良好的可扩展性和灵活性。

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型,支持处理超长文本(超过100万tokens)及多模态输入(图像、视频、文本)。通过分阶段训练提升上下文理解能力,结合动态分块编码器与并行推理技术,实现高效处理长文本和高分辨率图像。模型基于开源数据训练,适用于视频分析、图像识别、长文本生成等场景,性能在多个基准测试中表现突出。

MedRAG

MedRAG是由南洋理工大学研发的医学诊断模型,结合知识图谱与大语言模型(LLM),提升医学诊断的精准度与效率。该模型构建了四层细粒度知识图谱,支持多模态输入,具备主动补问机制,能有效补充患者信息,提升诊断准确性。在真实数据集上,其诊断准确率提升了11.32%。MedRAG可应用于急诊、慢病管理、医学教育等多个领域,为医疗决策提供科学依据。

万智

万智是零一万物推出的企业级AI解决方案,支持快速部署大模型,兼容多种硬件和架构,具备本地化部署能力,保障数据安全。平台集成RAG、联网搜索等功能,提升企业决策效率,并提供模型微调工具以满足垂直领域需求。采用Rewrite和Rerank技术优化输出准确性,显著提升性能。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

URM

URM是由阿里妈妈开发的通用推荐模型,结合大语言模型与电商领域知识,提升推荐效果。其采用多模态融合与Sequence-In-Set-Out生成方式,支持多场景、多目标、长尾及发现性推荐。具备高效率、零样本学习能力,适用于工业级推荐系统,已应用于阿里妈妈展示广告场景,优化用户体验与商家投放效果。