实时交互
StreamBridge
StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。
Multiverse
Multiverse是由Enigma Labs开发的全球首个基于AI生成的多人游戏模型,支持实时交互与动态世界生成,确保玩家视角一致。其核心技术包括联合动作向量和双视角通道堆叠,有效解决多人游戏中的同步难题。模型训练成本低,可在普通PC上运行,且项目全面开源,适用于多人游戏开发、VR/AR、AI训练、教育等多个领域。
OmniTalker
OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术,支持文本、图像、音频和视频的同步处理,并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术,实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景,具有高实时性与稳定性。
ChatAnyone
ChatAnyone是阿里巴巴通义实验室开发的实时风格化肖像视频生成工具,基于音频输入生成高保真、自然流畅的上半身动态视频。采用分层运动扩散模型和混合控制融合生成模型,支持实时交互与风格化控制,适用于虚拟主播、视频会议、内容创作等多种场景,具备高度可扩展性和实用性。
GaussianCity
GaussianCity是由南洋理工大学S-Lab团队开发的高效3D城市生成框架,基于3D高斯绘制技术,采用紧凑的BEV-Point表示方法降低显存和存储需求。其空间感知的BEV-Point解码器可生成高质量3D城市场景,支持多样化视角和实时渲染,适用于游戏、影视、城市规划等领域。相比现有方法,其生成速度提升60倍,兼具高效与高质量特性。