EPLB

EPLB（Expert Parallelism Load Balancer）是由DeepSeek开发的专家并行负载均衡工具，旨在解决大规模模型训练过程中不同专家模型（Experts）之间负载不均的问题。EPLB采用冗余专家策略，通过复制高负载专家并将它们合理分配到不同的GPU上，实现资源的高效利用。同时，结合group-limited expert routing技术，将同一组专家集中放置在同一节点内，以降低跨节点通信开销。EPLB提供两种负载均衡策略：分层负载均衡和全局负载均衡，分别适用于不同场景下的需求。该工具通过优化专家模型的复制与部署方式，显著提升了GPU资源利用率和整体训练效率。