计算通信重叠

COMET

COMET是字节跳动开发的Mixture-of-Experts(MoE)模型优化系统,通过细粒度计算-通信重叠技术和自适应负载分配机制,显著提升分布式训练效率。它在大规模模型中实现单层1.96倍、端到端1.71倍的加速,具备强鲁棒性与泛化能力,支持多种硬件环境和并行策略,核心代码已开源并可无缝集成至主流训练框架。