DeepSeek发布开源EP通信库DeepEP,助力MoE模型高效训练与推理

2月25日,人工智能公司DeepSeek在OpenSourceWeek第二日宣布推出开源EP通信库DeepEP,专为Mixture of Experts(MoE)模型的训练和推理优化。
DeepEP支持高效的all-to-all通信,涵盖节点内和节点间操作,利用NVLink和RDMA技术,提供高吞吐量训练与预填充内核、低延迟推理解码内核,并原生支持FP8格式。

上一篇:

下一篇:

发表回复

登录后才能评论
分享本页
返回顶部
🍁
🔈Hi,朋友。欢迎来到 木木的博客小站