超大型客户MPLSVPN组网设计与实现.doc

《超大型客户MPLSVPN组网设计与实现.doc》由会员分享，可在线阅读，更多相关《超大型客户MPLSVPN组网设计与实现.doc（6页珍藏版）》请在三一文库上搜索。

1、超大型客户MPLS VPN组网设计与实现陆小铭 冀晖 王韬凯 曹维华随着MPLS VPN技术的成熟和逐渐被市场所理解和接受，越来越多的超大型企业（保险、金融、能源等）的企业网逐步由专线转为MPLS VPN组网，超大型客户 的MPLS VPN组网中有鲜明的特点，譬如重视网络的稳健性、安全性和可管理性， 同时该类客户端技术力量和谈判能力很强，因此需要运营商提供全程完善的技术支 撑服务。文中作者从运营商的角度出发，结合实际工作经验，对超大型企业MPLS VPN的网络需求、冗余设计、QoS设计、验收测试等关键环节进行了阐述和分析， 总结了运营商对超大型客户MPLS VPN组网的一些服务经验，并提出网络

2、设计和实 施中应该重视和注意的问题。关键词： MPLS VPN QoS 陆小铭2007年毕业于华南理工大学电子信息工程学院，通信工程专业，硕士学位。2002年至今就职于中国电信广州研究院，曾从事PSTN、软交换、IP网络技术 和移动互联网的支撑和研究工作，曾支撑集团大客户项目组完成多个大型MPLS VPN组网项目。冀晖1997年毕业于北京邮电大学，计算机应用专业，硕士学位。1997年至今先后 就职于中国电信数据通信局、中国电信集团公司，曾从事ATM、IP网络技术和专 业管理工作，现负责重要政企客户的网络及技术支撑工作。王韬凯1999年毕业于四川大学水电学院，电力系统及自动化专业，学士学位。20

3、10年毕业于北京邮电大学信息与通信工程学院，电子与通信工程专业，硕士学位。1999年至今就职于中国电信集团公司，曾从事CHINANET网和CN2网络维护和管 理等工作，自2008年起主要从事中国电信金融行业政企客户营销支撑及服务支撑 等工作，组织支撑过平安保险全国VPN组网等项目。曹维华1999年毕业于华南理工大学电子信息工程学院通信与信息系统专业，获工学 硕士学位。2000年至今就职于中国电信广州研究院，先后在IP网络技术、支撑系 统、网络分析、运营支撑、移动互联网等领域开展研发和支撑工作。1引言的性质看，主要是国有大型企业和国外跨国企业； VPN站点的数量从500到5 000之间不等；企业

4、应用复杂，主 要包括企业核心应用、VoIP、视频会议、内部邮件应用、MPLS VPN组网中，超大型客户并没有一个严格的定义，本文所讨论的超大型客户有以下几个特点：从企业技 术 交 流64FTP、互联网应用等等。超大型客户从原有的专线方式转为M P L S V P N 组 网，是对企业网络的一次根本性的变革，主要体现在以下 方面：（1）实现了网络的扁平化：网络拓扑由树形结构变 成扁平化结构，所有站点可以直接访问数据中心，省内流 量不需要再汇聚到市级和省级站点再到数据中心，从而消 除网络瓶颈，也有助于实现IT系统的集中部署和管理；（2）实现网络的灵活扩展：可以灵活部署站点以及 根据需求调整接入带宽

5、，而不需要调整网络中间节点的配 置，从而实现业务的快速部署；（3）实现业务质量保障，通过MPLS VPN产品的层 次化QoS保障策略，对不同的业务实施QoS保障，从而保 障业务体验；（4）实现网络的统一管理：通过运营商的网管代维 服务，可以协助企业实现对所有站点设备的统一管理，通 过在数据中心实现互联网的一点接入，实现互联网业务的 统一管理。客户采用专线方式组网时，运营商只是提供传输通 道，用户自己管理着网络二/三层的配置（包括IP地址、 路由组织等），当采用MPLS VPN组网时，运营商的IP骨 干网更多的参与了客户端二/三层配置，这些改变使客户 产生不适应和不信任，因此，运营商在接手超大型

6、企业提 出的组网需求时，一般需要成立专门的项目小组进行详细 的需求调研以及制定网络实施方案，以下篇章对该过程中的关键问题进行了总结和探讨。视频会议、E-mail、IP呼叫中心、互联网应用等，如企业内部应用存在着哪些核心应用，采用什么协议；视频会议 采用的协议、占用带宽、会议模式；互联网应用的出口分 布，带宽等。（2）网络拓扑需求：明确用户站点的分级情况，一 般可以采用“总部-省-市-区”四级站点的划分方法，同时 明确各个站点之间的访问关系，制定网络拓扑。（3）网络带宽需求：对于各级站点，根据业务承载 的需求，参考目前带宽使用情况，确定各级站点统一的接 入带宽，以方便运营商的业务开通和管理。（4

7、）网络QoS需求：QoS等级是 MPLS VPN产品的关 键之一，运营商需根据客户端业务情况，确定哪些业务需要 纳入到哪些QoS等级，同时确定各个QoS等级的带宽。（5）网络安全需求：明确哪些站点需采用双链路的 方式，同时是采用负载分担方式还是主备方式，同时明确 客户是否会同时采用安全加密功能。（6）互联网访问需求：明确客户是通过单一出口还 是多出口进行互联网访问，建议引导客户通过单一出口的 方式，这样，客户可以实施统一的管理，运营商在网络配 置也会比较简单。（7）网络割接需求：明确原有站点从旧网络迁移到新网络的需求，是直接迁移还是多网络共存。3网络设计与实现3.1 网络拓扑设计根据过往案例，

8、“星型部分网状”是超大型客户比较常见的网络拓扑结构（如图1），即全国站点均可访 问总部站点；同时，省内的各级站点可互访，跨省站点 间不能直接互访。另外，超大型企业的站点数量多，如果 CE-PE采用静态路由的方式，发生需求变更（如需要增删 改路由）时两侧都需要进行配置，管理相对复杂，如果采 用BGP的方式，PE则只需要限定发布的路由数即可，客 户可以在限定的路由条目数内任意进行修改，因此，建议 所有站点都采用BGP的方式发布路由。2用户需求分析用户需求分析是制定网络实施方案的基础，超大型客户的网络应用复杂，可能存在着总部的技术人员不了解各个省的特有的应用，网络技术的人员不了解IT方面的应 用，公

9、司的经营管理人员与技术人员的理解有差异等等情 况，因此，通常从单一渠道不可能获取全部准确的信息， 所以要尽可能的和多方面进行沟通。用户需求分析建议从 以下方面开展工作。（1）业务承载需求：企业内部应用、FTP、VoIP、2011.01.广东通信技术技 术 交 流65超大型客户MPLS VPN组网设计与实现如下设计。RT（XXXXX1050）。（2）如果在各省省会设置了互联网出口，则可以采（1）钻石等级的业务具有最高优先等级，带宽是预技 术 交 流（2）白金、金、银、铜等级的优先级逐步降低，高 等级业务可占用比其更高等级的未用的带宽，不允许占用 低等级业务的未用带宽。例如白金业务可以占用钻石级业

10、 务的未用带宽，但不能占用金、银、铜业务的未用带宽。 如果客户的应用包括企业VoIP、视频会议、内部应 用（办公应用、邮件）、FTP、互联网应用等，建议进行图1 星型+部分网状的组网拓扑以下就以“星型部分网状”的网络拓扑为例，并 （1）VoIP：由于VoIP对丢包、时延、抖动、乱序等 假设所有节点的CE-PE连接均采用BGP的方式，对设计中 网络参数要求较高，同时VoIP的带宽容易估算，因此建 涉及的RD、RT、AS号等参数进行说明。 议VoIP设为钻石等级，带宽可以设置为最高话务量的1.5（1）RD号规划倍；由于存在一个PE上可能同时接入总部、省级站点、（2）视频会议：视频会议系统对丢包、时

11、延等参数 市级站点和区级站点的情况，如果所有机构采用统一一也有一定的要求，高清视频对带宽的要求也比较高，建议 个RD号的话，RT的配置将不能区分，为此RD的分配应视频会议应用可以设置为白金等级，可以设置为实际占用 有所区别。可以考虑总部站点单独使用一个R D 号（如带宽的1.5倍； AAAA:XXXXX），而其他站点统一使用另一个RD号（如（3）内部应用：可以设置为金等级； AAAA:YYYYY）。（4）FTP应用：企业的FTP应用抢占带宽会比较厉（2）RT规划害，建议设置比内部应用低，同时比比互联网应用高，设 总 部 和 其 他 所 有 站 点 的 通 信 ： 分 配 一 对 R T置为银等

12、级比较合适；（XXXXX00和XXXXX01）；（5）互联网应用：设置为缺省等级；省内所有站点的间的通信：以省为单位分配一个3.3 互联网出口方案（3）AS号规划对于“星型+部分网状”的网络拓扑，需要严格控制 建议总部站点采用单独一个AS号，其他所有站点使缺省路由的出现，如果从总部站点发送缺省路由，将使所 用另一个AS号。由于同省的所有站点要求能互相访问，有站点都能通过总部进行互访，整个网络变成网状组网。 由于使用相同的AS号， PE上应开启AS-Overide功能。（1）如果在总部设置了单一互联网出口，可以采用代理的方式访问互联网。3.2 QoS设计中国电信的CN2网络采用基于DiffSer

13、v架构的QoS用以下两种方案： 技术体系，基于IP Precedence和MPLS EXP标记位最大 采用代理的方式； 支持8个业务等级分类。目前，中国电信MPLS VPN产 由于省内是网状网络，因此可以在省会站点向省 品的QoS等级分为钻石、白金、金、银、铜5个等级，用内站点发布缺省路由，省会站点要通过route-map控制路 于支持不同的客户内部应用。对于CE侧的业务特征（级由发布的方向，不要向上发布。CE-PE的接口），表现如下：3.4 双链路连接的流量控制策略定好的，不能超限，如果超限将会引起丢包；M P L S V P N 站点的C E - P E 如果通过双链路进行连技术交流66接

14、，则需要确定双链路采用的是负载分担还是主备方式。在具体的配置中，可以在PE或CE的任意一端或两端同时 配置Local_prefrence和MED（Multi Exit DISC）达到所需 要的流量控制效果。但对于超大型客户，建议应给予客户 尽可能多的控制权，一方面可以使用户可以灵活的修改策 略，另一方面PE侧不需要配合CE侧进行修改，能大大降 低运营商的维护工作量。下面以双CE-PE连接的模型（见图2），说明负载分担和主备方式的配置思路。汇总各类业务的路由（覆盖总部所有的服务器）；CE在BGP上宣告汇总路由，并通过route-map配 置，避免从PE学到本站点的网段，防止路由环路；配置入方向的

15、route-map（如命名为route-map- in），对总部发过来的路由配置Local_prefrence，其中一 半的路由在CE1配置的优先级要比CE2高，而另一半的路 由在CE2配置的优先级要比CE2高，注意配置route-map 时，覆盖的路由要全，同时为了使流量均衡，两边的路由 需根据业务量来划分；配置出方向的route-map（如命名为route-map- out），对本站点的汇总路由配置MED，其中一半的路由 在CE1配置的优先级要比CE2高，而另一半的路由在CE2 配置的优先级要比CE2高；负载分担方式可能存在着流量路径不对称的问题，在实施初期需要对业务进行可用性测试。3.5

16、 多链路连接的流量控制策略图2 双链路连接在超大型客户端MPLS VPN组网中，总部站点的常见的接入方式如图3所示。在以下两种方式中，P E 不需要配置任何的控制策略。（1）主备方式（假设链路1为主用，链路2为备用）汇总内部路由为A.A.A.A，以及分别汇总各类业务 的路由（覆盖总部所有的服务器）；CE在BGP上宣告汇总路由，并通过route-map配 置，避免从PE学到本站点的网段，防止路由环路；配置入方向的route-map（如命名为route-map-i n ），对总部发过来的路由配置L o c a l _ p r e f r e n c e ，其 中C E 1 配置的优先级要比C E

17、2 高，如C E 1 配置L o c a l _ prefrence为200，CE2配置为100，注意配置route-map 时，覆盖的路由要全；配置出方向的route-map（如命名为route-map- out），对本站点的汇总路由配置MED，其中CE1配置的 优先级要比CE2高，如CE1配置MED为10，CE2配置为20（MED的值越小优先级越高）；（2）负载分担汇总内部路由分为基本大小的两部分，以及分别图3 总部站点常见的接入方式总部站点的CE与PE之间有可能存在多条电路（如CE-PE之间的带宽超过1Gbps，通过若干条GE链路连 接），并采用双CE-PE连接的方式，此时流量控制策略可

18、 以按以下规则实施。（1）单方向的多条链路间实现负载分担策略，CE1- PE1方向的两条链路1、2实现负载分担，CE2-PE3方向的 两条链路3、4实现负载分担；（2）CE1-PE1与CE2-PE2实现主备方式，平时是2011.01.广东通信技术技 术 交 流67超大型客户MPLS VPN组网设计与实现（如PE-CE之间是通过波分进行传输的，如果一侧的设备技 术 交 流CE1-PE1作为主用，CE2-PE2作为备用；建议100ms；在具体的数据配置中，常见的做法：RX Interval 接收bfd hello报文的时间间隔（ms），建C E 、P E 各自配置L o o p b a c k 地

19、址，用作建立议100ms；E-BGP连接之用；multiplier表示连续没有收到几个h e l l o 报文之配置静态路由使CE和PE的Loopback地址互见；后，才认为peer down，建议3。CE-PE之间基于Loopback地址来建立E-BGP邻居具体的配置有两部分（以思科路由器配置为例）：（neighbor X.X.X.X ebgp-multihop 2）；（5）在端口模式下配置BFD参数 在网络正常运行的时候，以上的配置确实能很好的实现预期的流量控制策略。但在单条链路出现单通故障（6）在E-BGP配置启用BFD功能端口故障，由于波分设备并不能实现自动停光功能，因此 存在链路虚通

20、的问题）的时候，会引起比较复杂的问题，可以归结为以下情况。在实际的测试中，在没有配置BFD的BGP连接中， 假设CE1-PE1之间（主用侧）的链路1出现虚通的故如果发生链路故障，B G P 的收敛时间会长达2 0 秒；配 障，同时，在多条链路的情况下，CE-PE的E-BGP消息的置了B F D 功能之后，收敛速度能在1 秒左右。因此， 交互会根据哈希算法落在其中的某条链路上。BGP+BFD的配置能较好的保障超大客户端重要节点的可（3）如果E-BGP消息是通过链路1进行交互的，那用性。么主用侧的E-BGP邻居关系会Down掉，此时CE2-PE2的E-BGP邻居还是正常的，从而数据流会从主用切换到

21、备4验收测试建议用；在中国电信目前的MPLS VPN产品的验收测试规范（4）如果E-BGP消息是通过链路2进行交互的，那么中，基本只定义了基于ping的验收测试标准。该测试标准 E-BGP邻居关系还会维持正常，流量会同时送到链路1、2技术成熟而容易实施，因此也为大家所接受。但随着客户 上，但显然链路1的流量会发生丢弃，引起业务异常。的业务日益丰富，对网络的要求越发严格，已经不满足与 目 前 ， 波 分 设 备 还 不 能 完 全 解 决 链 路 单 通 道 问仅仅通过ping形成的测试报告了。因此，建议对超大型客题，因此，只能从I P 层通过别的办法进行处理，建议户进行应用层的补充测试。PE-

22、CE采用通过接口地址建立BGP+BFD（Bidirectional建议以下测试模型，在客户的总部站点放置一台硬 Forwarding Detection，双向转发检测）的配置方案。件测试探针，作为测试基准点；新站点局域网内通过软探 BFD是一套用来实现快速检测的国际标准协议，提供一种针（有条件的地市也可采用硬件探针）与总部站点进行一 轻负荷、持续时间短的检测，在很多方面，它与那些著名对一测试，测试结果送到测试服务器进行汇总； 的路由协议的邻居检测部分相似。一对系统在它们之间的测试项目建议如下： 所建立会话的通道上周期性的发送检测报文，如果某个系（1）网络层测试： 统在足够长的时间内没有收到对端

23、的检测报文，则认为在连通性测试（必选） 这条到相邻系统的双向通道的某个部分发生了故障。在某时延（可选） 些条件下，为了减少负荷，系统之间的发送和接收速率需丢包（可选） 要协商。BFD的配置涉及以下3个参数，建议如下：抖动（可选）TX Interval 发送bfdhello报文的时间间隔（ms），（2）应用层测试技术交流68router bgp xxxxxneighbor xx.xx.xx.xx fall-over bfdint GigabitEthernet0/0/0bfd interval 150 min_rx 150 multiplier 3带宽测试（必选）VoIP测试（可选）视频测试（可

24、选）的范围内应给予客户最大的自主权，同时提供完善的代维服务和后期支撑服务。参考文献牛思先. 基于软管模型的MPLS VPN中QoS的实现研究. 微 计算机信息, 2007, 23(11): 262余洁、李远清. IP电话云服务质量保证技术. 交通与计算机,2005, 3:120郭辉, 常晋义. 边界网管协议收敛问题研究综述. 计算机应用,2010, 30(10): 2629（收稿日期：2010-12-21）15结语超大型客户的M P L S V P N 组网具有高度的示范作2用，同时也是运营商的重要的收入来源，因此对于超大型客户应该从需求调研、方案设计、设备配置、验收测试以 及后期维护等多方面

25、进行通盘考虑，但总的原则是在可控3（上接第63页）缘用户数据速率，尤其是基于功率调整的软频率复用。为了更好的发挥TD-LTE技术优势，软频率复用一般与半静 态资源调度或者动态资源调度结合，满足现代通信的需 要。摩洛哥. LTE-UMTS长期演进理论与实践M. 北京：人民邮电出版社，2009王映民，孙韶辉.TD-LTE技术原理与系统设计M.北京：人 民邮电出版社，2010R1-081536 Additional RSRP reporting trigger for ICIC RAN1#52bis3GPP TR 25.814 v1.0.1, Physical Layer Aspects forEv

26、olved UTRA3GPP TSG-RAN WG1 #42 August 29th September 2nd2005 杨学志.一种在无线通信系统中实现频率软复用的方法.2005 李美玲.软频率复用技术研究及其在LTE系统中的应用.2007（收稿日期：2010-11-28）456参考文献李新年，楼才义. 无线移动通信网络M.北京：电子工业出 版社，2001杨丰瑞，文凯. TD-SCDMA移动通信系统工程与应用M.北 京：人民邮电出版社，2009沈嘉，索士强. 3GPP长期演进技术原理与系统设计M. 北 京：人民邮电出版社，200971829103（上接第26页）2A. J. Albrecht

27、. Measuring application development producti-vity. in Proc. IBM Applications Development Symp., GUIDE Int. and SHARE Inc., IBM Corp., Monterey, CA, 1979, 10:83-92.A. J. Albrecht, J.E. Gaffney. Software function, sourcelines of code and development effort prediction: A software science validation, IE

28、EE Trans. Software Eng, 1983,11:629649The International function point users group. Function PointCounting Practices Manual （Release 4.2）. 20045C. R. Symons. Function point analysis: difficultiesand improvements. IEEE Transactions on SoftwareEngineering. 1988,14(1): 211C.J. Lokan. An empirical analysis of function point adjust- ment factors. Technical report CS03/98, Australian defence force academy. 1998,12刘迪. 基于改进的功能点分析法在软件项目规模估计中的应用研究. 硕士学位论文, 合肥工业大学, 2007（收稿日期：2010-12-21）63742011.01.广东通信技术技 术 交 流69超大型客户MPLS VPN组网设计与实现