实时交互

Multiverse

Multiverse是由Enigma Labs开发的全球首个基于AI生成的多人游戏模型,支持实时交互与动态世界生成,确保玩家视角一致。其核心技术包括联合动作向量和双视角通道堆叠,有效解决多人游戏中的同步难题。模型训练成本低,可在普通PC上运行,且项目全面开源,适用于多人游戏开发、VR/AR、AI训练、教育等多个领域。

CleanS2S

CleanS2S是一款流式语音到语音交互智能体原型,通过集成自动语音识别(ASR)、大型语言模型(LLM)、文本到语音(TTS)以及WebSockets等技术,提供高质量、实时的语音交互体验。它支持全双工交互和打断功能,可整合网络搜索和RAG模型以增强回答能力,适用于客户服务、智能家居控制、教育辅助、健康咨询及车载系统等多个领域。

Lingo

Lingo是一款由西湖心辰开发的国内首个端到端语音大模型,具备实时交互、语音理解、多风格语音表达、情绪价值等功能。Lingo在人机对话的自然流畅度和情绪感知方面表现出色,适用于智能家居、客户服务、教育、医疗等多个领域。其核心技术包括端到端设计、深度学习算法和自然语言处理,旨在提供高质量的语音交互体验。