DualPipe：一种双向管道并行算法，用于 V3/R1 训练中的计算-通信重叠，能实现计算和通信阶段的完全重叠，并减少流水线气泡。
EPLB：专家并行负载均衡器，确保在使用专家并行时，不同 GPU 负载平衡，优化专家分配并减少数据流量。
DualPipe：一种双向管道并行算法，用于 V3/R1 训练中的计算-通信重叠，能实现计算和通信阶段的完全重叠，并减少流水线气泡。
EPLB：专家并行负载均衡器，确保在使用专家并行时，不同 GPU 负载平衡，优化专家分配并减少数据流量。