WhisperFusion
一个基于WhisperLive把声音转文字和WhisperSpeech理解这些文字的能力构建。能够与AI聊天机器人进行超低延迟对话。
模型
VideoWorld
VideoWorld是由北京交通大学、中国科学技术大学与字节跳动合作开发的深度生成模型，能够通过未标注视频数据学习复杂知识，包括规则、推理和规划能力。其核心技术包括自回归视频生成、潜在动态模型（LDM）和逆动态模型（IDM），支持长期推理和跨环境泛化。该模型在围棋和机器人控制任务中表现优异，且具备向自动驾驶、智能监控等场景扩展的潜力。
FACTS Grounding
FACTS Grounding是一款由谷歌DeepMind研发的基准测试工具，专门用于评估大型语言模型在生成事实准确文本方面的能力。它通过设置包含多个领域的复杂任务，要求模型基于长文档生成响应，并采用两阶段评估流程验证事实准确性及避免“幻觉”。FACTS Grounding不仅支持信息检索与问答，还能应用于内容摘要生成、文档改写以及客户服务等领域，为模型提供全面而可靠的性能评估。
CosyVoice 2.0
CosyVoice 2.0是一款基于深度学习的语音生成大模型，通过有限标量量化技术和新型架构设计，在发音准确性、音色一致性和韵律表达方面表现出色。其支持流式推理，延迟低至150ms，广泛应用于智能助手、有声读物、视频配音及语言学习等领域，同时具备多语言支持和情感控制等功能。
The AI Scientist
The AI Scientist-v2 是一个端到端的 AI 系统，能够自主完成从提出科学假设到撰写论文的全流程科研任务。它采用基于代理的树搜索方法，提高科学探索效率，并结合视觉-语言模型优化内容质量。该系统已成功生成并通过同行评审的 AI 论文，标志着 AI 在科学研究领域的重大突破。适用于科研自动化、机器学习、跨学科研究及教育等多个场景。
WorldSense
WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具，用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对，覆盖8大领域及26类认知任务，强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证，确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域，推动AI模型在多模态场景下的性能提升。
