多模态交互
Open Avatar Chat
Open Avatar Chat是阿里开源的模块化实时数字人对话系统,支持低延迟交互与多模态输入输出。系统采用模块化架构,允许灵活配置语音识别、语言模型和语音合成等组件,兼容本地与云服务。支持2D/3D数字人渲染,适用于客户服务、教育、娱乐及企业应用等多个场景,为开发者提供高效、灵活的AI对话解决方案。
VideoRefer
VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统,基于增强型视频大型语言模型,实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准,支持对象识别、关系分析、推理预测及多模态交互等功能,适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。
Embodied Reasoner
Embodied Reasoner是由多家科研机构联合开发的具身交互推理模型,通过视觉搜索、推理与行动协同完成复杂任务。采用模仿学习、自我探索和自我修正三阶段训练方法,生成多样化思考过程,提升任务规划效率。在长时序任务中表现优异,减少重复搜索和逻辑错误。适用于智能家居、仓储物流、医疗辅助等多个场景,具备多模态交互和强推理能力。
