2月25日,人工智能公司DeepSeek在OpenSourceWeek第二日宣布推出开源EP通信库DeepEP,专为Mixture of Experts(MoE)模型的训练和推理优化。
DeepEP支持高效的all-to-all通信,涵盖节点内和节点间操作,利用NVLink和RDMA技术,提供高吞吐量训练与预填充内核、低延迟推理解码内核,并原生支持FP8格式。
2月25日,人工智能公司DeepSeek在OpenSourceWeek第二日宣布推出开源EP通信库DeepEP,专为Mixture of Experts(MoE)模型的训练和推理优化。
DeepEP支持高效的all-to-all通信,涵盖节点内和节点间操作,利用NVLink和RDMA技术,提供高吞吐量训练与预填充内核、低延迟推理解码内核,并原生支持FP8格式。