端到端

StableAnimator

StableAnimator是一款由复旦大学、微软亚洲研究院、虎牙公司及卡内基梅隆大学联合开发的高质量身份保持视频生成框架。它能够根据参考图像和姿态序列,直接生成高保真度、身份一致的视频内容,无需后处理工具。框架集成了图像与面部嵌入计算、全局内容感知面部编码器、分布感知ID适配器以及Hamilton-Jacobi-Bellman方程优化技术,确保生成视频的流畅性和真实性。StableAnimato

Momentic

Momentic是一款AI驱动的测试平台,专注于帮助开发者高效创建和管理端到端测试。其核心功能包括低代码交互式编辑器、自动适应UI变化、零代码复杂断言生成以及多环境测试执行能力。Momentic能够显著简化测试流程,加速软件发布周期,并广泛应用于端到端测试、回归测试、UI测试及性能测试等场景。

3D

3D-Speaker是一个多模态开源项目,专注于通过结合声学、语义和视觉信息,实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码,以及多样化数据集,并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。

braintrust

Braintrust 是一个端到端的 AI 工具平台,专注于通过迭代式的工作流帮助公司快速构建高效的 AI 应用。它提供了强大的提示调整、评分器配置及数据集管理功能,支持从模型评估到质量控制的全流程优化。此外,Braintrust 的直观界面和代码库集成特性使其适用于各类用户群体,广泛应用于 AI 产品开发、模型评估、质量控制及数据集构建等领域。

The Language of Motion

The Language of Motion是一款由斯坦福大学李飞飞团队开发的多模态语言模型,能够处理文本、语音和动作数据,生成对应的输出模态。该模型在共同语音手势生成任务上表现出色,且支持情感预测等创新任务。它采用编码器-解码器架构,并通过端到端训练实现跨模态信息对齐。The Language of Motion广泛应用于游戏开发、电影制作、虚拟现实、增强现实及社交机器人等领域,推动了虚拟角色自

Psi R0

Psi R0是一款基于强化学习的端到端具身模型,支持双灵巧手协同操作,具备多技能串联混训和跨物品、跨场景的泛化能力。通过仿真数据训练及技能优化,Psi R0能在复杂环境中完成长程任务,同时具备自主切换技能的功能,确保高成功率和鲁棒性。主要应用场景包括电商商品打包、工厂产线组装、服务业拣货打包及家居环境清洁整理。

OpenEMMA

OpenEMMA是一个开源的端到端自动驾驶多模态模型框架,基于预训练的多模态大型语言模型(MLLMs),能够处理视觉数据和复杂驾驶场景的推理任务。它通过链式思维推理机制提升轨迹规划和感知任务性能,并集成了优化的YOLO模型以提高3D边界框预测的准确性。此外,OpenEMMA支持人类可读的输出,适用于多种驾驶环境,包括城市道路、高速公路、夜间及复杂天气条件下的驾驶。

MMedAgent

MMedAgent是一款面向医疗领域的多模态AI平台,集成了指令优化的多模态大型语言模型(MLLM)及一系列定制化医疗工具,支持多种医学成像模式(如MRI、CT、X射线等),可高效处理视觉问答、分类、定位、分割、医学报告生成(MRG)及检索增强生成(RAG)等任务,显著提升了医疗数据处理效率与准确性。

Helix

Helix 是 Figure 公司推出的视觉-语言-动作(VLA)模型,专为人形机器人设计,支持对上半身的高精度、高频次控制,频率达 200Hz。它能基于自然语言指令执行未见过的物品操作,具备强大的泛化能力。系统采用端到端训练方式,可在低功耗设备上运行,适用于多机器人协作、家庭服务、工业自动化等多种场景,具有较高的商业化潜力。

Migician

Migician是一款由多所高校联合开发的多模态大语言模型,专为多图像定位任务设计。它基于大规模数据集MGrounding-630k,采用端到端架构和两阶段训练方法,支持跨图像精准定位与多任务处理。Migician适用于自动驾驶、安防监控、医疗影像等多个领域,具有高效的推理能力和灵活的输入方式。