MoE++

MoE++是一种创新的混合专家（Mixture-of-Experts）架构，由昆仑万维2050研究院与北京大学袁粒团队联合研发。该架构通过引入零计算量专家、复制专家及常数专家，显著降低了计算成本，同时提升了模型性能。MoE++允许每个Token根据其复杂性动态选择不同数量的前馈网络（FFN）专家，甚至跳过部分层，从而优化计算资源分配。此外，基于门控残差机制，MoE++实现了更稳定的专家选择过程，使Token能够参考前一层的路由路径进行决策。实验结果表明，MoE++在相同模型规模下性能优于传统MoE模型，专家吞吐量提升1.1至2.1倍，且易于部署。