DuoAttention
DuoAttention是由MIT韩松团队提出的新型框架，通过区分“检索头”和“流式头”两种注意力机制，显著提升了大型语言模型在处理长上下文时的推理效率。该框架有效减少了内存占用，加速了解码和预填充过程，并保持了模型的准确性。它适用于多轮对话、长文档处理、学术研究以及内容推荐等多个领域。
模型
Video Diffusion Models
Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力，通过创新的梯度条件方法和自回归扩展技术，生成了具有高度时间连贯性和质量的视频样本。
WhisperFusion
一个基于WhisperLive把声音转文字和WhisperSpeech理解这些文字的能力构建。能够与AI聊天机器人进行超低延迟对话。
Stable Video 3D (SV3D)
Stable Video 3D（SV3D）是一款由Stability AI公司开发的多视角合成和3D生成模型，能够从单张图片生成一致的多视角图像，并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进，提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展，能够生成逼真且一致的视图，提升
WorldSense
WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具，用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对，覆盖8大领域及26类认知任务，强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证，确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域，推动AI模型在多模态场景下的性能提升。
