实时交互

Lingo

Lingo是一款由西湖心辰开发的国内首个端到端语音大模型,具备实时交互、语音理解、多风格语音表达、情绪价值等功能。Lingo在人机对话的自然流畅度和情绪感知方面表现出色,适用于智能家居、客户服务、教育、医疗等多个领域。其核心技术包括端到端设计、深度学习算法和自然语言处理,旨在提供高质量的语音交互体验。

CleanS2S

CleanS2S是一款流式语音到语音交互智能体原型,通过集成自动语音识别(ASR)、大型语言模型(LLM)、文本到语音(TTS)以及WebSockets等技术,提供高质量、实时的语音交互体验。它支持全双工交互和打断功能,可整合网络搜索和RAG模型以增强回答能力,适用于客户服务、智能家居控制、教育辅助、健康咨询及车载系统等多个领域。

Multiverse

Multiverse是由Enigma Labs开发的全球首个基于AI生成的多人游戏模型,支持实时交互与动态世界生成,确保玩家视角一致。其核心技术包括联合动作向量和双视角通道堆叠,有效解决多人游戏中的同步难题。模型训练成本低,可在普通PC上运行,且项目全面开源,适用于多人游戏开发、VR/AR、AI训练、教育等多个领域。

The Matrix

The Matrix是一款基于AI的世界模拟器,能够生成高保真度、无限时长的视频流,支持实时交互控制。它融合了3A游戏数据与真实世界视频,具备零样本泛化能力。核心技术包括交互模块、移窗去噪过程模型和流一致性模型,适用于游戏开发、影视制作、虚拟现实、教育模拟及城市规划等多个领域。

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

HMA

HMA(Heterogeneous Masked Autoregression)是一种基于异构预训练和掩码自回归技术的机器人动作视频建模方法,支持离散与连续生成模式,可处理不同动作空间的异构性。该工具具备高效实时交互能力,广泛应用于视频模拟、策略评估、合成数据生成及模仿学习等领域,适用于机器人学习与控制任务,提升策略泛化与执行效率。

OmniTalker

OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术,支持文本、图像、音频和视频的同步处理,并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术,实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景,具有高实时性与稳定性。

新壹视频大模型

新壹视频大模型是一款AI驱动的视频创作平台,具备自动生成剧本、情感化语音合成、3D元素生成和高清视频输出等功能。该平台通过集成自主研发的AI算法和深度学习技术,简化了视频创作流程,提高了制作效率,降低了成本,同时提升了视频的整体质量和用户体验。其应用场景广泛,涵盖教育、医疗、文化旅游、金融管理和广电传媒等多个领域。

预见塔塔

预见塔塔是一款结合AI技术、心理学和玄学的综合心理服务平台,提供塔罗牌占卜、星座星盘分析及心理咨询服务。其核心功能包括私密一对一在线咨询、专业咨询师直播、塔罗牌深度解析、星盘合盘分析及情感支持服务,旨在帮助用户提升自我认知、改善情绪状态并促进身心健康。平台强调隐私保护、实时交互及个性化服务,适用于个人成长、情感咨询、决策辅助及心理健康维护等多个场景。 ---