多模态

幻剪

幻剪是一款基于AI技术的视频创作工具,支持智能生成和剪辑视频,用户可通过输入文案快速获取成品,并通过二次编辑实现个性化定制。其功能涵盖多模态搜索、自动剪辑、配音及字幕设置等,广泛应用于个人、教育、团队协作及内容创作等领域,有效简化视频制作流程,提升创作效率。

Agentic Object Detection

Agentic Object Detection是由吴恩达团队研发的新型目标检测技术,通过智能代理系统实现无需标注数据的目标识别。用户输入文字提示后,AI可精准定位图像中的目标及其属性,支持内在属性、上下文关系及动态状态的识别。该技术无需复杂训练流程,适用于装配验证、作物检测、医疗影像分析、危险物品识别和商品管理等多种场景,显著提升了检测效率和准确性。

Gemini Robotics

Gemini Robotics 是谷歌 DeepMind 基于 Gemini 2.0 开发的机器人系统,融合视觉-语言-动作模型,支持复杂任务执行与环境适应。具备三维空间理解、物体检测、轨迹预测和开放词汇指令执行能力,适用于工业制造、物流仓储、家庭服务、医疗健康等多个领域。系统通过数据驱动训练,结合真实操作与多模态信息,实现高效、灵活的机器人控制。

MME

MME-CoT 是一个用于评估大型多模态模型链式思维推理能力的基准测试框架,涵盖数学、科学、OCR、逻辑、时空和一般场景六大领域,包含1,130个问题,每题均附关键推理步骤和图像描述。该框架引入推理质量、鲁棒性和效率三大评估指标,全面衡量模型推理能力,并揭示当前模型在反思机制和感知任务上的不足,为模型优化和研究提供重要参考。

EchoMimic

EchoMimic是一款由阿里蚂蚁集团开发的AI数字人开源项目,通过深度学习模型结合音频和面部标志点,创造出高度逼真的动态肖像视频。该工具支持音频同步动画、面部特征融合、多模态学习和跨语言能力,适用于娱乐、教育和虚拟现实等领域。其独特的技术原理包括音频特征提取、面部标志点定位、面部动画生成和多模态学习,使用了卷积神经网络(CNN)、循环神经网络(RNN)和生成对抗网络(GAN)等深度学习模型,实现

VITA

VITA-Audio 是一款开源的端到端多模态语音大模型,具备低延迟、高推理效率和多模态交互能力。其核心创新包括轻量级 MCTP 模块和四阶段渐进式训练策略,使模型在语音识别、文本转语音和口语问答等任务中表现优异。支持实时对话、智能客服、教育辅助、医疗辅助及内容创作等多种应用场景,适用于各类语音交互系统。

明岐

明岐是上海交通大学LoCCS实验室开发的医学多模态大模型,专注于罕见病精准诊断。它整合影像、病历与化验数据,采用双引擎架构实现高精度、可解释的诊断,准确率超92%。通过模型优化技术,支持低成本本地化部署,适用于基层医疗、远程服务及科研教学,助力医疗资源均衡发展。

飞猪AI问一问

飞猪AI问一问是一款基于多智能体协作的AI旅行助手,可快速生成包含机票、酒店、景点路线的完整旅行方案,并支持预算调节和实时信息同步。用户可通过文字、语音或方言交互,系统根据实时位置推荐周边服务,适合多种旅行场景,提供个性化、便捷的旅行规划体验。

Reel.AI

Reel.AI是一款利用AI技术生成短视频内容的应用程序,支持文本、图片等多种输入形式,生成高质量的短剧和视频内容。其核心功能包括文本到视频转换、多模态内容生成、情感共鸣驱动的短剧创作及交互式体验设计。Reel.AI基于自主研发的Reel Diffusion模型,广泛应用于娱乐消费、内容创作、广告营销及教育等领域。

GigaTok

GigaTok 是一款基于语义正则化的高参数视觉分词器,支持自回归图像生成,具备优异的图像重建与生成能力。通过一维架构和非对称扩展策略,实现高效计算与稳定训练。适用于图像生成、编辑、数据增强及多模态应用,具有广泛的技术拓展性。