stake官网

Stake(中国区)官方网站

中文

Stake(中国区)官方网站

Stake(中国区)官方网站

登录

Stake(中国区)官方网站

产品

< 返回主菜单

产品

解决计划

< 返回主菜单

解决计划中心

行业

服务支持

合作伙伴

关于stake官网

投资者关系

返回主菜单

选择区域/语言

Stake(中国区)官方网站

首页
手艺博文
互联网
DCN场景下的BGP协议优化特征总结

Stake(中国区)官方网站

Stake(中国区)官方网站

DCN场景下的BGP协议优化特征总结

【BGP协议】本文将通过某互联网公司工程师小李在建设DCN时间的亲自填坑履向来相识BGP协议在数据中心场景的优化特征。。。。。。

宣布时间：2019-11-21
点击量：
点赞：

分享至

Stake(中国区)官方网站

Stake(中国区)官方网站

Stake(中国区)官方网站

我想谈论

前言

随着超大型互联网数据中心的规模优势愈加显着，，，，，，，，特殊是在IPv4、IPv6双栈模式下，，，，，，，，关于我们网络工程师而言，，，，，，，，所面临的建设和维护压力也是越来越大。。。。。。在上一篇文章《大型数据中心BGP路由协议妄想》中，，，，，，，，我们讨论了BGP路由协议在数据中心的规模安排，，，，，，，，可以大大提升网络的路由性能，，，，，，，，简化网络妄想，，，，，，，，可是数据中心网络事实与古板广域网差别，，，，，，，，关于BGP的安排和运维要求也会保存差别，，，，，，，，通过优化BGP协议可以进一步提升网络路由性能及简化运维。。。。。。本文将通过某互联网公司工程师小李在建设DCN时间的亲自填坑履向来相识BGP协议在数据中心场景的优化特征。。。。。。

-------------我是华漂亮的支解线------------

我是小李。。。。。。

我上大学念的是执法专业，，，，，，，，为了省点网费，，，，，，，，跟校园网安排的stake官网认证计费系统举行了多年的斗智斗勇，，，，，，，，也因此爱上了网络这个行当，，，，，，，，并且考取了stake官网网络的RCIE（stake官网认证网络专家）认证，，，，，，，，结业后顺遂地进入了一家互联网企业事情，，，，，，，，天天就是处置惩罚种种网络的建设、妄想、设置、变换，，，，，，，，也可谓是履历富厚的老司机。。。。。。

下面，，，，，，，，就是我的故事，，，，，，，，请仔细听噢！

网络建设篇

早晨，，，，，，，，小李吹着口哨听着歌，，，，，，，，一进办公室就接到了老板一个大活，，，，，，，，要建设一个可以容纳5万台以上服务器的数据中心，，，，，，，，营业服务器需要运行IPv4和IPv6双栈模式，，，，，，，，先给出详细的网络设计计划和妄想。。。。。。关于网络妄想，，，，，，，，除了物理组网外，，，，，，，，较量重大的就是路由、地址等妄想，，，，，，，，可是作为stake官网《大型数据中心BGP路由协议妄想》文章的优异读者，，，，，，，，小李关于路由协议的选择和妄想没有任何疑虑，，，，，，，，但思量到双栈模式下会有大宗的接口地址以及管理地址，，，，，，，，顿感急躁！

摆在眼前的情形是：

服务器双栈运行，，，，，，，，意味着网络也要开启双栈模式；；；；；

大宗装备互联地址及管理地址妄想，，，，，，，，包括IPv4和IPV6；；；；；

BGP的IPv4邻人和IPv6邻人设置。。。。。。

凭证古板设置要领虽然能实现，，，，，，，，这个没有任何问题，，，，，，，，但小李作为一个有着立异意识的互联网一线大厂工程师，，，，，，，，并未急于凭证履历举行妄想，，，，，，，，有没有更简朴的计划呢？？？？？经由一番厂家的交流，，，，，，，，小李接纳stake官网网络提供的妄想计划：

1.基于Linklocal地址建设会话---简化IPv6地址的分派
Link-localaddress是IPv6协议栈引入的新地址类型，，，，，，，，接口开启IPv6协议后，，，，，，，，可以自动天生Link-localaddress（FE80::/10），，，，，，，，并且地址为外地链路有用。。。。。。装备支持基于Link-local地址建设多个BGP邻人，，，，，，，，从而可以免去妄想分派自力的IPv6地址。。。。。。
2.单BGP会话双栈路由---镌汰BGP邻人数目
仅通过IPv4地址或者仅通过IPv6地址建设一个BGP邻人会话，，，，，，，，同时实现IPv4、IPv6双栈路由转达的功效，，，，，，，，从而抵达节约装备邻人表项。。。。。。

小李发明这两个功效在这种场景下的团结简直不要太好用，，，，，，，，通过IPv6的Link-local address，，，，，，，，通过指定邻人接口即可建设BGP邻人，，，，，，，，并基于每个邻人激活IPv4、IPv6双栈路由模式，，，，，，，，从而实现单IPv6会话，，，，，，，，转达IPv4、IPv6双栈路由。。。。。。

小李的妄想提交给了向导后，，，，，，，，马上获得审批通过，，，，，，，，并连忙最先建设执行，，，，，，，，就在服务器批量上线的时间，，，，，，，，小李又接到了一个新的需求，，，，，，，，数据中心单独计齐整个POD，，，，，，，，这个POD服务器要运行Docker，，，，，，，，宿主神秘与TOR交流机之间需要通过BGP举行路由交流，，，，，，，，宿主机的网段已经妄想完成，，，，，，，，但详细地址要等营业上线的时间才华拿到，，，，，，，，做盛意理准备吧！

小李大吃一惊，，，，，，，，什么心理准备啊，，，，，，，，还不是营业每上线一台宿主机我都要配合他们做一次 BGP邻人对接设置吗？？？？？凭证营业上线的习惯每次都要比及后三更才华上线，，，，，，，，难不可，，，，，，，，天天就为了设置一个BGP邻人，，，，，，，，一分钟不到的事情，，，，，，，，还要跟他们一起加个班么？？？？？

加班虽好，，，，，，，，可是事情内容价值不高。。。。。。以是小李最先琢磨，，，，，，，，既然网段已经妄想好，，，，，，，，若是BGP的邻人能基于网段建设，，，，，，，，那不就不需要天天跟营业线的人一起加班了么？？？？？

通过翻阅装备手册，，，，，，，，小李还真的发明了这个功效：

基于网段被动建设会话
网络装备设置基于网段的BGP邻人，，，，，，，，设置此模式后，，，，，，，，不会自动提倡BGP邻人建设请求，，，，，，，，而是被动吸收到对端邻人提倡建设请求后，，，，，，，，凭证邻人地址天生对应的真实邻人，，，，，，，，并建设会话。。。。。。

时间指向晚上八点钟，，，，，，，，设置完成，，，，，，，，大功告成。。。。。。作为一个互联网一线大厂的优异工程师，，，，，，，，小李吹着口哨听着歌打卡下班了，，，，，，，，尚有时间健个身，，，，，，，，心里美滋滋。。。。。。

网络扩容篇

某日，，，，，，，，小李获得向导安排的一项新的使命，，，，，，，，近期公司要上线一批AI营业，，，，，，，，规模虽然不大，，，，，，，，可是原有网络的收敛较量高，，，，，，，，生怕不可知足高性能盘算的需求，，，，，，，，要求小李针对一个POD举行扩容，，，，，，，，降低收敛比，，，，，，，，但又不可影响原来在线的营业，，，，，，，，扩容后的网络架构，，，，，，，，如图一所示：

▲ 图一：POD扩容架构

小李接到使命后，，，，，，，，心里自喜，，，，，，，，接纳Spine-Leaf的一个很大的利益就是横向扩容利便，，，，，，，，于是就凭证妄想割接第一台POD-Spine装备上线，，，，，，，，这时间营业反响有少量的丢包。。。。。。啊�。。。。。�？？？？虽然是少量丢包，，，，，，，，但也引发了小李深深的思索，，，，，，，，究竟是怎么回事呢？？？？？

检查设置OK、路由学习正常，，，，，，，，为什么有丢包呢？？？？？经由仔细剖析，，，，，，，，小李发明原来问题的泉源在于路由表项的装置差别上，，，，，，，，新的POD-Spine上线后，，，，，，，，向POD-Leaf以及Spine通告了自己的路由，，，，，，，，并学习网络的路由，，，，，，，，就在此时，，，，，，，，关于POD-Leaf来说，，，，，，，，ECMP由两条，，，，，，，，连忙酿成了三条，，，，，，，，并且发送数据流量，，，，，，，，与此同时新上线的POD-Spine装备虽然完成了网络路由的学习，，，，，，，，但装置这些路由表项需要一定的时间，，，，，，，，从而有一个时间差，，，，，，，，导致服务器的流量泛起了少量的丢包，，，，，，，，那怎样解决这个问题呢？？？？？小李此时想若是装备能够先将路由学习并装置完成以后，，，，，，，，再向邻人通告自己完整的路由，，，，，，，，那这个时间差不就不保存了吗？？？？？想到这里，，，，，，，，小李通过翻阅装备手册发明：

BGP路由延迟通告
将学习到的路由先装置到硬件路由表项后，，，，，，，，再向邻人通告这些路由

有了这个功效后应该就能解决这个问题了吧！小李连忙举行了第二台POD-Spine装备的上线，，，，，，，，并开启了此功效，，，，，，，，同时还请营业组同事实时监控服务器的丢包情形，，，，，，，，发明第二台装备上线后没有造成任何的丢包。。。。。。搞定，，，，，，，，胜利，，，，，，，，欧耶~

故障处置惩罚篇

天有意外风云，，，，，，，，人有朝夕祸福，，，，，，，，小概率事务也是会爆发的。。。。。。

如图二所示：

▲ 图二：网络维护区域

这天工程师小王找小李哭诉，，，，，，，，由于Spine节点装备泛起故障、宕机，，，，，，，，导致小王被营业部分投诉，，，，，，，，体现泛起了10多秒的丢包。。。。。。咱们网络有10K多的路由，，，，，，，，收敛也需要时间啊，，，，，，，，丢点包怎么了，，，，，，，，营业又没断。。。。。。咦？？？？？你认真的区域应该同样会受到这台装备故障牵连，，，，，，，，你怎么还能那么潇洒呢，，，，，，，，营业部分没有投诉你吗？？？？？

这时小李低声说，，，，，，，，告诉你一个秘笈吧，，，，，，，，保你轻松应对“黑天鹅事务”，，，，，，，，这个秘笈叫做：

BGP的PIC（prefix independent
convergence）快切
BGP的PIC快切实现了路由前缀无关的收敛，，，，，，，，收敛速率与路由规模无关，，，，，，，，因此能实现大规模路由的快速切换。。。。。。

PIC快切功效基于AS号来实现，，，，，，，，在EBGP之间启用，，，，，，，，开启PIC快切功效后，，，，，，，，BGP宣布路由时会携带PIC扩展整体属性，，，，，，，，吸收该BGP路由的交流机会凭证宣布者的AS号和router-id分派一个唯一的索引ID，，，，，，，，通过优选盘算后会携带该索引下发到转发面。。。。。。当宣布者上行链路所有中止，，，，，，，，无法收到此AS的路由信息时，，，，，，，，通过查找对应的索引ID，，，，，，，，通告转发面将关联该ID的路由一次性完成切换，，，，，，，，从而实现营业的快速收敛，，，，，，，，无需期待逐条删除路由来收敛（通俗路由收敛需要逐条删除失效路由信息，，，，，，，，因此收敛时间与路由规模强相关）。。。。。。

简朴来说呢，，，，，，，，就是来自故障节点装备（Spine）宣布的路由，，，，，，，，POD-Spine装备通过BGP的私有属性举行了归类分组，，，，，，，，并且携带私有属性将路由通告下游（POD-Leaf），，，，，，，，一旦Spine节点故障，，，，，，，，POD-Spine自身会快速切换，，，，，，，，并通过私有属性通告POD-Leaf所有路由失效并举行切换。。。。。。这样，，，，，，，，我的这个POD内部就能够实现快速的收敛了。。。。。。这种实现方法做到了与前缀无关的路由收敛，，，，，，，，并且很是适用于大规模的路由切换，，，，，，，，实测数据显示：

12K路由收敛实测：

未开启PIC快切：13S

开启PIC快切：1S以内(0.7S)（此切换时间不随路由规模转变而转变，，，，，，，，在大规模路由情形下尤为适用）

那既然是私有属性，，，，，，，，只能自己识别，，，，，，，，别的装备不支持会影响路由学习吗？？？？？小王疑惑地问。。。。。。不会的，，，，，，，，关于不支持这个属性的装备，，，，，，，，会自动过滤掉这个信息，，，，，，，，不会影响其他装备路由的正常学习。。。。。。好吧，，，，，，，，今天又涨知识了，，，，，，，，带着满脸钦佩心情的小王回到了自己的工位，，，，，，，，并将所学知识点连忙应用到自己的网络，，，，，，，，降低“黑天鹅事务”爆发后爆发的损失。。。。。。

焦点迁徙篇

有人问这次互联网严冬究竟有多冷，，，，，，，，小李体现，，，，，，，，究竟有多冷我不知道，，，，，，，，但要做的事情一点没有少。。。。。。这不，，，，，，，，又接到了一个新机房建设使命。。。。。。接到使命的小李，，，，，，，，连忙举行了网络的妄想以及硬件核对，，，，，，，，发明还缺少两台POD-Spine装备？？？？？难不可这个装备也要从谁人机房迁徙过来吗？？？？？小李获得的回复是一定的，，，，，，，，谁人老机房的营业没有凭证预期妄想安排，，，，，，，，流量没有那么高了，，，，，，，，将收敛比提高一下，，，，，，，，并下线两台POD-Spine装备吧，，，，，，，，但一定不可影响营业哦~

▲ 图三：某某机房网络架构

装备下线，，，，，，，，要先将待下线装备流量迁徙走，，，，，，，，包管不影响营业，，，，，，，，这时小李通过与装备厂家相同，，，，，，，，获取了几种BGP流量迁徙的方法：

Neighbor shutdown
通过向邻人发送notification报文来见告邻人已经人为shutdown邻人关系，，，，，，，，常用于框式装备单线卡隔离变换。。。。。。

Graceful shutdown
向邻人装备发送UPDATE报文，，，，，，，，用于通告优先级低的路由（local-preference 值为0或MED值为4294967295），，，，，，，，并且会携带着名的gshut community，，，，，，，，从而使邻人装备举行路由更新，，，，，，，，使其流量预先切换到备份链路或其他等价链路上。。。。。。

BGP advertise-map
通过向邻人发送UPDATE报文携带的withdraw routes字段，，，，，，，，见告邻人路由失效，，，，，，，，邻人收到UPDATE报文之后会更新外地路由表，，，，，，，，从而将相关的路由都删除。。。。。。从使其的流量切换到备份链路或其他等价链路上。。。。。。

通过原理的比照剖析，，，，，，，，小李总结出这几种流量迁徙方法的差别点，，，，，，，，如表1所示

▲ 表一：BGP流量迁徙方法总结

经由比照剖析，，，，，，，，小李发明Neighbor shutdown方法太暴力，，，，，，，，还会丢包;Graceful shutdown虽然不丢包，，，，，，，，但需要期待路由收敛，，，，，，，，时间较量长，，，，，，，，而第三种BGP Advertise-Map直接通告路由失效的方法，，，，，，，，既快捷又不丢包，，，，，，，，并且特殊场景还可以通过ACL加以控制，，，，，，，，就用它了。。。。。。

总结

手艺路漫漫，，，，，，，，只有通过一直地学习、积累和实践才华进取前行。。。。。。在DCN场景下的BGP优化主要的着重点在于在双栈模式下简化BGP协议的安排、提高BGP协议的收敛性能以及平稳的流量迁徙。。。。。。网工小李把他事情中的履历毫无保存地分享给了其他的网工，，，，，，，，希望他们有所收获。。。。。。而他也在手艺路上一直的生长，，，，，，，，终于穿上了他心爱的格子衫，，，，，，，，并且。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

他头上的发量，，，，，，，，始终是个谜。。。。。。

相关推荐：

大型数据中心BGP路由协议妄想

大型数据中心网络路由协议选择

新一代数据中心网络架构

Clos组网手艺

怎样实现数据中心网络架构“去”堆叠

未来30年不落伍的网络架构，，，，，，，，智能网络

互联网数据中心网络25G组网架构设计

相关标签：

Stake(中国区)官方网站

Stake(中国区)官方网站

点赞

<< 聊聊下一代25G/100G数据中心网络

聚焦标准化生产场景的云桌面探索实践 >>

相关产品

客户谈论

暂无谈论

我要谈论

您的姓名

您的手机号*

您的邮箱

公司名称

您的谈论*

我已仔细阅读并赞成隐私声明

验证码*

提交谈论

更多手艺博文

任何需要，，，，，，，，请联系stake官网

与售前照料攀谈

填写项目需求表单

售前咨询
售后服务
意见反响

Stake(中国区)官方网站

返回顶部

收起

文档AI助手

文档评价

该资料是否解决了您的问题？？？？？

您对目今页面的知足度怎样？？？？？

不咋滴

很是好

您知足的缘故原由是（多选�。。。。。�？？？？

您对文档是否尚有其它的问题或建议？？？？？

为尽快解决问题，，，，，，，，请您留下联系方法以便回复

邮箱

手机号

谢谢您的反响�。。。。。�

Stake(中国区)官方网站

Stake(中国区)官方网站

Stake(中国区)官方网站

请选择服务项目

售前咨询

售后服务

意见反响

更多联系方法