ModernBERT
ModernBERT是一种基于Transformer架构的新型编码器-only模型，是对经典BERT模型的深度优化版本。它通过在大规模数据集上的训练，提升了对长上下文的理解能力，并在信息检索、文本分类、实体识别等多个自然语言处理任务中展现出卓越性能。此外，ModernBERT在速度和资源效率方面均有显著改进，适合应用于多个领域。
模型优化
Verifier Engineering
Verifier Engineering是一种创新的后训练方法，通过搜索、验证和反馈三个阶段优化基础模型性能。它采用目标条件马尔可夫决策过程（GC-MDP），结合线性与树搜索算法，对模型输出进行动态调整。其验证器分类涵盖多种形式和粒度，并支持基于训练和推理的反馈方式。这项技术已在自然语言处理、代码生成、教育和内容安全等领域展现广泛潜力，成为提升模型鲁棒性和智能化水平的重要工具。
Stable Diffusion 3
Stable Diffusion 3 是一款由 Stability AI 开发的先进文本到图像生成模型，通过改进的文本渲染能力、多主题提示支持、可扩展的参数量、图像质量提升及先进的架构技术，实现了高质量和多样性的图像生成。该模型在图像生成和文本理解方面取得了显著进展，并通过 Diffusion Transformer 架构和 Flow Matching 技术提升了模型效率和图像质量。
OpenScholar
OpenScholar是一款由华盛顿大学与艾伦AI研究所联合研发的检索增强型语言模型，专为科学家设计，能够高效检索并综合海量科学文献信息，生成基于文献的事实性回答。该工具具备强大的跨学科适用性，涵盖计算机科学、生物医学等多个领域，同时支持自我反馈迭代优化，显著提升回答质量和引用可靠性。所有相关资源已完全开源，便于全球学者使用与研究。
DistilQwen2.5
DistilQwen2.5-R1 是阿里巴巴推出的基于知识蒸馏技术的轻量级深度推理模型，包含多种参数量级，适用于资源受限环境。它具备高效计算、深度推理和高度适应性，支持文本生成、机器翻译、客户服务等多种任务。通过双阶段训练和认知轨迹适配框架，提升了小模型的推理能力，性能优于同类开源模型。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
