DeepSeek开源优化并行策略,发布DualPipe与EPLB
报道 2月27日消息,据DeepSeek(@deepseek_ai)公告,在开源周第四天,团队开源了多项优化并行策略,包括DualPipe(双向管道并行算法,优化V3/R1训练中的计算-通信重叠)、EPLB(专家并行负载平衡器,提高计算资源分配效率)及计算-通信重叠分析工具,帮助优化训练性能。
报道 2月27日消息,据DeepSeek(@deepseek_ai)公告,在开源周第四天,团队开源了多项优化并行策略,包括DualPipe(双向管道并行算法,优化V3/R1训练中的计算-通信重叠)、EPLB(专家并行负载平衡器,提高计算资源分配效率)及计算-通信重叠分析工具,帮助优化训练性能。