DuoAttention
DuoAttention是由MIT韩松团队提出的新型框架，通过区分“检索头”和“流式头”两种注意力机制，显著提升了大型语言模型在处理长上下文时的推理效率。该框架有效减少了内存占用，加速了解码和预填充过程，并保持了模型的准确性。它适用于多轮对话、长文档处理、学术研究以及内容推荐等多个领域。
数据
Transformer Debugger
Transformer Debugger (TDB) 是一款由OpenAI的对齐团队开发的工具，用于帮助研究人员和开发者理解和分析Transformer模型的内部结构和行为。它提供了无需编程即可探索模型结构的能力，并具备前向传递干预、组件级分析、自动生成解释、可视化界面及后端支持等功能。TDB 支持多种模型和数据集，包括GPT-2模型及其自动编码器。
Teacher2Task
Teacher2Task是一个由谷歌团队研发的多教师学习框架，其核心在于引入教师特定的输入标记并重新构建训练过程，以减少对人工聚合方法的依赖。通过将训练数据转化为多个子任务，该框架能够从不同教师的多样化预测中学习，提高模型的性能和鲁棒性，同时降低标签不准确性的风险。它适用于机器翻译、图像理解、自然语言处理等多个领域，显著提升了数据利用效率。
EXAONE 3.5
EXAONE 3.5是一款由LG AI研究院开发的开源AI模型，包含多种参数规模版本，专长于长文本处理和复杂场景下的推理任务。其核心技术包括检索增强生成与多步推理，可显著减少错误信息并提升准确性。此外，EXAONE 3.5还具备双语支持及强大的上下文理解能力，适用于聊天机器人、语言翻译、内容创作等多个领域。
ChildMandarin
ChildMandarin是由智源研究院与南开大学合作开发的3-5岁儿童普通话语音数据集，包含41.25小时高质量语音，覆盖全国22个省市。数据通过家长引导式对话采集，保证自然真实。该数据集支持语音识别、说话人验证和语言研究，适用于儿童语言学习、教育系统、智能玩具和语音助手优化等领域，为儿童语音技术研究提供重要资源。
蓝心大模型BlueLM
蓝心大模型（BlueLM）是vivo推出的自研通用大模型矩阵，包含十亿、百亿、千亿三个参数量级共5款，主要面向端侧和云端服务，用于复杂逻辑推理等应用场景。
