DeepSeek 在开源周第四天发布优化并行策略：DualPipe 和 EPLB

小哪吒

         在 2025 年 2 月 27 日的开源周第四天，DeepSeek 官方账号在 X 平台上宣布了两项针对 V3/R1 训练优化的并行策略：DualPipe 和 EPLB。
         DualPipe 是一种双向流水线并行算法，旨在实现计算与通信的重叠，从而提高训练效率。该算法通过优化数据传输和计算任务的分配，减少了因通信延迟导致的性能瓶颈。与此同时，EPLB（Expert-Parallel Load Balancer）作为一种专家并行负载均衡器，专注于在大规模模型训练中实现资源的高效分配和动态调整，确保训练过程的稳定性和高效性。
         DeepSeek 还提供了相关分析工具，帮助开发者研究 V3/R1 训练中的计算与通信重叠情况，进一步优化模型训练策略。这些工具和算法的开源，为研究人员和开发者提供了宝贵的资源，有助于推动大规模模型训练技术的发展。
         开源周活动为 DeepSeek 提供了一个展示技术实力和创新成果的平台，同时也促进了开源社区对相关技术的交流与合作。