stake官网

Stake(中国区)官方网站

中文

Stake(中国区)官方网站

Stake(中国区)官方网站

登录

Stake(中国区)官方网站

产品

< 返回主菜单

产品

解决计划

< 返回主菜单

解决计划中心

行业

服务支持

合作伙伴

关于stake官网

投资者关系

返回主菜单

选择区域/语言

Stake(中国区)官方网站

首页
手艺博文
交流机
解密DeepSeek-V3推理网络：MoE架构怎样重构低时延、高吞吐需求？？？？？？？？

Stake(中国区)官方网站

Stake(中国区)官方网站

解密DeepSeek-V3推理网络：MoE架构怎样重构低时延、高吞吐需求？？？？？？？？

DeepSeek-V3宣布推动漫衍式推理网络架构升级，，，，，，，，MoE模子引入大规模专家并行通讯，，，，，，，，推理流量特征显著转变，，，，，，，，Decode阶段对网络时度敏感。。。。。。。网络需包管低时延与高吞吐，，，，，，，，通过端网协同负载平衡与拥塞控制手艺优化性能。。。。。。。高效运维实现故障快速定位与营业高可用，，，，，，，，单轨双平面与Shuffle多平面组网计划在低本钱下知足高性能推理需求，，，，，，，，为大规模MoE模子安排提供焦点网络支持。。。。。。。

#交流机

宣布时间：2025-10-27
点击量：
点赞：

分享至

Stake(中国区)官方网站

Stake(中国区)官方网站

Stake(中国区)官方网站

我想谈论

一、推理场景和MoE模子引入网络新诉求

2025年头，，，，，，，，DeepSeek-V3宣布，，，，，，，，迅速引发海内外的普遍关注和安排热潮。。。。。。。作为焦点基础设施之一，，，，，，，，漫衍式推理网面临全新的需求。。。。。。。整体来看，，，，，，，，推理与训练的流量差别、MoE模子架构的引入以及DeepSeek开源手艺计划等多重因素，，，，，，，，影响了网络建设的偏向和要求。。。。。。。

古板浓密模子的训练与推理流量中，，，，，，，，95%以上为Tensor Parallel（TP）通讯，，，，，，，，主要在机内高带宽域通过all-reduce完成，，，，，，，，机外低带宽域仅在同号卡间执行低流量的数据并行（DP）和流水线并行（PP）通讯。。。。。。。而DeepSeek接纳的MoE（Mixture of Experts）模子架构显著改变了流量特征。。。。。。。训练和推理阶段均不接纳TP通讯，，，，，，，，取而代之的是大规模专家并行（EP）通讯，，，，，，，，训练阶段EP流量占比凌驾95%，，，，，，，，推理阶段则抵达100%。。。。。。。EP通讯跨越多个崎岖带宽域，，，，，，，，且接纳all-to-all通讯模式，，，，，，，，通讯结构重大且流量重大，，，，，，，，对网络性能提出了更高、更差别化的要求。。。。。。。

DeepSeek模子参数规模抵达6710亿，，，，，，，，在推理安排中引入了PD疏散和大规模EP并行，，，，，，，，推动满血版高性能推理走向漫衍式。。。。。。。相比古板单机推理，，，，，，，，漫衍式推理带来了显著差别，，，，，，，，使得推理流量模式与漫衍式训练更为靠近，，，，，，，，但两者在流量特征上依然保存显着区别。。。。。。。

通讯流量可由以下公式估算：（minibatch巨细 × 上下文长度 × 隐藏层维度）× 节点数 × （dispatch_alltoall通讯次数 × FP8字节数 + combine_alltoall通讯次数 × BF16字节数）× GPU认真的层数。。。。。。。下表统计主要EP流量作为参考。。。。。。。

	总通讯量	单次通讯量
训练	315GB	dispatch：112MB combine：224MB
推理Prefill	57.09GB	dispatch：168MB combine：336MB
推理Decode	1218MB	dispatch：3.5MB combine：7MB

训练场景流量模式牢靠且明确，，，，，，，，单次迭代总流量高达315GB，，，，，，，，单次EP通讯流量约112MB。。。。。。。

推理场景流量受用户输入影响，，，，，，，，波动较大。。。。。。。Prefill阶段以4K上下文、batch size为4盘算流量巨细，，，，，，，，单次迭代总流量约57.09GB，，，，，，，，单次通讯流量与训练相近；；；；；；；Decode阶段以128并发盘算，，，，，，，，单次迭代流量显著降低至约1.2GB，，，，，，，，单次通讯流量仅为几MB，，，，，，，，Prefill与Decode阶段流量差别显着。。。。。。。

基于以上全新且重大的网络需求，，，，，，，，深入识别和剖析DeepSeek推理网络的要害手艺，，，，，，，，是包管推理高性能、低本钱与高可靠性的要害。。。。。。。下文我们将从低网络时延、高效网络运维和低本钱组网角度，，，，，，，，睁开先容DeepSeek推理网络要害手艺。。。。。。。

二、低时延网络助力推理高吞吐

凭证上述流量剖析，，，，，，，，Decode阶段的单次通讯流量仅为3.5MB/7MB。。。。。。。团结DeepSeek官方开源通讯库DeepEP的性能，，，，，，，，目今场景下Decode阶段的dispatch通讯时长在100us内，，，，，，，，combine通讯时长在200us内。。。。。。。Decode阶段的SLO通常要求低于50ms，，，，，，，，但EP通讯次数高达116次，，，，，，，，每次通讯都会导致时延叠加，，，，，，，，因此对网络时延提出了很高的要求。。。。。。。综上，，，，，，，，在Decode阶段，，，，，，，，很少的单次通讯流量、很短的通讯时长、很高的SLO要求都对网络提出了较低的时延需求。。。。。。。

Stake(中国区)官方网站

H800网络时延对Decode吞吐的影响

Stake(中国区)官方网站

H20网络时延对Decode吞吐的影响

上图是对4K/1K上下文，，，，，，，，1K输出的Decode场景，，，，，，，，在H800/H20装备下，，，，，，，，以128 batch作为场景，，，，，，，，举行的网络时延对Decode吞吐影响仿真。。。。。。。如图所示，，，，，，，，当网络侧爆发1ms的时延增添时，，，，，，，，无论是H800照旧H20，，，，，，，，在差别的上下文场景下，，，，，，，，吞吐都会爆发重大影响，，，，，，，，吞吐下降幅度高达80%左右，，，，，，，，险些已经直接导致目今Decode节点不可用。。。。。。。当网络上爆发100us的时延时，，，，，，，，4K上下文场景下，，，，，，，，吞吐下降可能抵达20%+。。。。。。。由此可见，，，，，，，，Decode节点对网络时延的敏感度很高。。。。。。。在DeepSeek大规模EP并行all-to-all通讯模式下，，，，，，，，网络时延的主要影响因素是负载平衡和拥塞控制：

Stake(中国区)官方网站

如上图所示，，，，，，，，在大规模EP的DeepSeek推理场景，，，，，，，，EP域的通讯可能横跨多个Leaf，，，，，，，，流量走向Spine，，，，，，，，容易爆发典范的ECMP哈希不均问题，，，，，，，，导致较高动态时延。。。。。。。且DeepSeek的MoE模子推理易爆发实例间负载纷歧致和实例内专家负载纷歧致问题，，，，，，，，在网络上体现为流量中巨细流混淆。。。。。。。该征象更容易加剧ECMP不均导致的动态时延问题，，，，，，，，不佳的负载平衡战略，，，，，，，，在网络上容易引入100us+甚至更高的动态时延。。。。。。。如上文剖析，，，，，，，，这样的动态时延水平对吞吐的影响可能抵达20%+。。。。。。。在DeepSeek官方场景中，，，，，，，，接纳IB交流机和CX网卡的Adaptive Routing（AR）手艺，，，，，，，，有用缓解了ECMP负载不均问题。。。。。。。在RoCE情形下，，，，，，，，端网协同的负载平衡计划在云云苛刻的低时延要求下，，，，，，，，是至关主要的。。。。。。。

Stake(中国区)官方网站

别的，，，，，，，，MoE模子的大规模专家并行通讯实质上是一种all-to-all模式，，，，，，，，网络中自然保存incast流量。。。。。。。合理的拥塞控制战略能够阻止因流量降速或PFC（Priority Flow Control）触发而带来的高动态时延，，，，，，，，包管网络时延的稳固性和推理性能。。。。。。。

三、高效端网运维包管高可用推理营业

Stake(中国区)官方网站

慢故障、hang异常

Stake(中国区)官方网站

链路故障

随着DeepSeek推理引入大规模专家并行（EP），，，，，，，，漫衍式推理集群面临与训练集群类似的故障挑战。。。。。。。凭证Meta果真的研究数据，，，，，，，，以1024卡集群为例，，，，，，，，平均每7.9小时会爆发一次故障。。。。。。。团结故障对推理的影响，，，，，，，，可将故障类型归纳为三类：

慢节点异常：故障爆发后推理使命不中止，，，，，，，，但部分节点或阶段性能下降，，，，，，，，导致整体推理被拖慢，，，，，，，，体现为慢节点效应。。。。。。。

Hang异常：故障导致推理长时间卡顿于某一阶段，，，，，，，，使命无法继续推进，，，，，，，，但整体推理仍未中止。。。。。。。

链路故障：链路中止直接导致整个推理实例退出。。。。。。。

在慢节点异常和短时间Hang异常场景下，，，，，，，，虽然推理使命仍在运行，，，，，，，，但推理性能显著受损，，，，，，，，TTFT（Time To First Token）和TPOT（Time Per Output Token）指标显着恶化，，，，，，，，吞吐量可能下降50%以上。。。。。。。因此，，，，，，，，针对慢故障和Hang异常的实时监控、快速定位与排查，，，，，，，，关于包管推理性能具有主要价值。。。。。。。

而在长时间Hang异�；；；；；；；蛄绰饭收系贾峦评硎道苯油顺龅那樾蜗�，，，，，，，，营业影响更为严重。。。。。。。关于大规模实例安排情形，，，，，，，，可通过请求快速切换至其他康健实例，，，，，，，，虽可能牺牲部分用户体验，，，，，，，，但能包管营业一连性。。。。。。。相较之下，，，，，，，，少量实例安排（如单个Decode实例）爆发故障时，，，，，，，，往往直接导致营业中止，，，，，，，，严重影响稳固性和用户体验。。。。。。。因此小规模场景下，，，，，，，，故障的定位、逃生和规避，，，，，，，，是包管营业可用性的要害手段。。。。。。。

四、高性价比推理组网压榨百万token本钱

1.双口网卡双平面组网：

Stake(中国区)官方网站

单轨双平面组网

基于上述对网络低时延和高可靠性的需求，，，，，，，，接纳如图所示的单轨双平面组网计划，，，，，，，，能够最洪流平包管性能与可靠性。。。。。。。相比古板CLOS架构，，，，，，，，该计划在性价例如面更具优势。。。。。。。详细特点如下：

优势：

网络结构精练：流量集中于Leaf交流机，，，，，，，，降低跨交流机通讯重漂后，，，，，，，，显著镌汰时延。。。。。。。

本钱效益高：支持铜缆互联，，，，，，，，镌汰交流机数目，，，，，，，，整体网络投入更低。。。。。。。

时延低：数据面链路最长仅为2跳，，，，，，，，最大跳数为1跳，，，，，，，，确保低时延传输。。。。。。。

流控需求低：无负载平衡问题，，，，，，，，流量走简单起径，，，，，，，，简化流控设计。。。。。。。

易于扩展：新增节点无需增添二层网络，，，，，，，，支持集群横向扩展。。。。。。。

Bond适配性强：接纳bond双平面组网提升网络可靠性，，，，，，，，且由于无二层组网，，，，，，，，bond计划不会带来特殊交流机本钱。。。。。。。

劣势：

无邪性受限：Prefill或Decode实例不可跨Leaf安排，，，，，，，，单实例最大规模受限于256卡。。。。。。。

兼容性缺乏：组网针对推理流量特征优化，，，，，，，，难以兼容训练与推理一体化场景。。。。。。。

KV Cache传输依赖存储网：在接纳PD疏散安排时，，，，，，，，若是保存跨Leaf的PD实例，，，，，，，，则必需配备存储网络以支持KV Cache传输。。。。。。。

2.Shuffle多平面组网：

Stake(中国区)官方网站

基于双网口网卡的双平面组网计划，，，，，，，，单Pod最大规模受限于256卡，，，，，，，，导致无邪性缺乏。。。。。。。为突破这一瓶颈，，，，，，，，在Server与交流机之间引入Shuffle(光交织盒)，，，，，，，，实现物理层面的分光。。。。。。。依托400Gbps网卡和TH5芯片交流机，，，，，，，，组网计划升级为四平面，，，，，，，，单Pod最大规模扩展至512卡，，，，，，，，知足绝大大都推理安排需求。。。。。。。此计划支持更大规模的EP并行和PD实例数目增添，，，，，，，，且PD实例无需跨Pod调理，，，，，，，，大幅提升Pod内组网无邪性，，，，，，，，显著降低对KV Cache存储网络的依赖。。。。。。。

未来，，，，，，，，随着800Gbps网卡和TH6芯片交流机的应用，，，，，，，，Shuffle多轨计划可拓展至8轨。。。。。。。在包管单GPU享有800Gbps带宽的条件下，，，，，，，，单Pod最大规模�？？？？？？？衫┱怪�1024卡，，，，，，，，知足超大规模推理服务需求。。。。。。。该计划在无二层组网架构下，，，，，，，，依然提供很高的PD疏散安排无邪性，，，，，，，，PD实例无需跨Pod调理，，，，，，，，也无需KV Cache传输专用网络，，，，，，，，实现了卓越的性价比与性能。。。。。。。

总结

DeepSeek MoE模子的漫衍式推理安排带来了推理网络架构和性能包管的全新挑战。。。。。。。推理阶段的通讯模式和流量特征与古板训练保存显著差别，，，，，，，，尤其是Decode阶段对网络时延敏感，，，，，，，，要求网络具备低时延和高吞吐能力。。。。。。。端网协同的负载平衡算法和拥塞控制手艺是包管网络性能的要害。。。。。。。与此同时，，，，，，，，推理营业高可用性要求完善的故障监控、快速定位和故障逃生战略。。。。。。。针对这些需求，，，，，，，，设计精练高效且具备高可靠性的单轨双平面组网计划，，，，，，，，能够在包管性能的同时降低本钱。。。。。。。未来，，，，，，，，随着DeepSeek及类似大规模MoE模子的普遍安排，，，，，，，，推理网络的优化和立异将成为焦点竞争力。。。。。。。

相关标签：

#交流机

Stake(中国区)官方网站

Stake(中国区)官方网站

点赞

<< 高密场景无线网络新解法：stake官网Wi-Fi 7 AP 与龙伯透镜天线正式成团

暂无下一条纪录 >>

客户谈论

暂无谈论

我要谈论

您的姓名

您的手机号*

您的邮箱

公司名称

您的谈论*

我已仔细阅读并赞成隐私声明

验证码*

提交谈论

更多手艺博文

任何需要，，，，，，，，请联系stake官网

与售前照料攀谈

填写项目需求表单

售前咨询
售后服务
意见反响

Stake(中国区)官方网站

返回顶部

收起

文档AI助手

文档评价

该资料是否解决了您的问题？？？？？？？？

您对目今页面的知足度怎样？？？？？？？？

不咋滴

很是好

您知足的缘故原由是（多选！！！�。。。�？？？？？？？

您对文档是否尚有其它的问题或建议？？？？？？？？

为尽快解决问题，，，，，，，，请您留下联系方法以便回复

邮箱

手机号

谢谢您的反响！！！�。。。�

Stake(中国区)官方网站

Stake(中国区)官方网站

Stake(中国区)官方网站

请选择服务项目

售前咨询

售后服务

意见反响

更多联系方法