MARS MARS是一款由字节跳动开发的优化框架，专注于提升大型模型训练效率。它融合了预条件梯度方法与方差减少技术，并通过缩放随机递归动量技术优化梯度估计。MARS支持多种Hessian近似方式，可生成基于AdamW、Lion和Shampoo的优化算法实例。该框架适用于深度神经网络、大规模语言模型、计算机视觉任务及强化学习等领域，能有效加速模型收敛并提高训练稳定性。 AI项目与工具 2025年06月12日 79 点赞 0 评论 337 浏览
