银行信息系统架构：城域与广域网络架构成果

前面所述的数据中心网络、各地办公/业务局域网网络都需要通过城域或广域网连接在一起，这部分的重要性不仅体现在跨地域的办公和业务网络的连接，更重要的是实现同城和异地数据中心灾备和正发展中的多中心多活云容灾的重要网络基础架构。下面210分别讨论。

1.城域与广域网络基础线路选择

首先构建城域和广域网需要对连接的通信技术进行选择，这是一个在带宽、资费、距离、连接复杂性和服务质量等多种因素之间进行复杂权衡的工作。一般在同城100km范围内采用密集型波分复用（DWDM）技术、异地采用SDH/SONET或MSTP（多协议传输平台）等专线方式较为常见，也有使用运营商提供的MPLSVPN（多协议标记交换虚拟私有网）、VPDN（虚拟私有拨号网）等实现高性价比的远程连接，在承载网方式中自建MPLSVPN、IPVPN为不同业务平台提供服务的方式也比较多见。限于篇幅无法对各项技术进行详细介绍，可参考通信专业书籍。

2.城域与广域网络的架构模型

国内银行普遍采用两种广域/城域网架构模型：传统分层架构模型和新型承载网架构模型。

（1）传统分层架构模型 如图5-19所示，传统分层架构模型一般顺应自然的IT组织架构，是早期使用最为普遍的广域网架构组织方式，具有如下优点：

1）结构清晰：符合前文所述的模块化层次化架构设计，高低层次与银行的组织结构吻合，易于管理。

2）冗余度高：考虑了线路和主备中心的冗余，可靠性高。

图5-19 广域网的传统分层架构模型

3）流量与结构吻合：符合星型流量特点，中间环节少。

这种结构决定了广域网和数据中心的紧耦合关系，即数据中心的路由器既是中心的出口，也是全网路由的核心。当前数据中心正面临着专业化、分布化和计算负载多活云化的发展趋势，在这种多中心架构下，传统的分层广域网架构无法再适应新的发展，主要表现在以下几个方面：

1）成本：新增业务中心时，各分行均需增加到新业务中心的直连链路，成本急剧升高（见图5-20）。

2）管理：一方面新增业务中心时，需要和原数据中心、分行互联，网络结构从树形变为全互联结构，难以管理维护；另一方面，紧耦合导致分行通信和数据中心通信从策略定义上难以分开，管理复杂度高。

图5-20 广域网的传统分层架构模型遇到的问题

3）扩展：多中心接近全连通的网络，以及广域网和数据中心的紧耦合导致新增分行或新增中心都将波及几乎所有节点，运维风险高，扩展不够灵活，影响整体稳定性。

4）性能：在计算负载多活云化、全渠道应用、虚拟柜员机（VTM）等业务发展驱动下，分行之间的数据交互比以往有大量提升，而传统架构导致分行间需要往返到总行中心才能返回的数据流向方式逐渐成为业务性能的瓶颈。

因此在多中心、横向（平级）数据流较大的情况下，需要采用新型的承载网架构模型。

（2）新型承载网架构模型 如图5-21所示，所谓新型承载网架构就是把广域网的传输节点功能从数据中心中解耦出来，单独形成网络中心，网络中心与数据中心可在同一地理位置，更可以根据地理分布或附近分行和业务中心的需要单独设立，甚至一些可以靠近或托管在运营商机房。网络中心的网络节点构成独立的承载网，各个数据中心、业务中心、灾备中心、分行等都可作为广域网的用户接入到承载网上来，它们在接入形式上可采用CE-PE（Customer Edge-Provider Edge）的模式，其中CE属于数据中心或分行，PE属于承载网，在CE和PE间可定义不同的策略，实现架构的解耦。这种模型具有如下优势：

1）可扩展性强：骨干承载网作为核心，分行、数据中心作为接入模块挂在骨干承载网上，是一种核心加接入的模式，扩展更容易。

2）更易管理：骨干承载网实现了数据中心和广域网的松耦合，层次结构更清晰，策略分配和执行更容易，运维更方便。

3）成本低：数据中心和分行可以选择地理位置近的承载网络中心实现就近接入，无须构建全连通的物理线路，节省链路成本。

4）可靠性高：承载网本身按高可靠性设计，同时承载网可作为同城光传输互连方式的备份；另外，承载网的建设有利于整体网络实现高可用性的双平面或多平面架构。

5）性能高：承载网让同级节点（比如分行之间）的数据流动可以在本地线路就近完成，无需绕远到总行中心，提高性能，改善延迟，优化线路带宽；另外，承载网可根据接入的分行和业务中心的特性进行接入标记和优化，便于实现服务质量保证策略。

6）安全隔离：承载网的建设有利于在传输上实现多租户、VPN等安全隔离技术和架构。

图5-21 广域网的新型承载网架构模型

在处理同城的数据中心之间的连接时要注意，由于中心之间需要高带宽、多协议（IP和存储）的支持，因此并不一定要借助承载网互联，较多的方式是采用裸光纤或在光纤之上进行波分复用实现高带宽、多协议的传输通道以实现连接，承载网本身可以作为高速互连的备份手段。分行以下可以采用传统分层的广域网架构连接各级网点，也可以把较大的二级分行和网点接入到承载网络中实现扁平化，这需要根据银行业务和流量特点、承载网节点分布等具体情况而设计。

3.广域网的路由设计

除了上述物理架构设计外，最重要的广域/城域网络的逻辑设计就是路由的设计。(www.xing528.com)

我们知道两类路由协议中，IGP类路由协议（如RIP、OSPF、ISIS等）关注于由链路构成的具体拓扑中的路径选择，更为微观；而EGP类路由协议（如BGP）则着眼于多个自治域系统（AS）的相互关系和策略权衡，更为宏观。换句话说，IGP以路径最“短”（开销最低）为选径目标，而BGP以路径最“合理”（最符合意愿）为选径目标。因而物理架构如果采用全局紧耦合的传统分层架构模型，则使用策略一致的IGP较普遍；而采用承载网架构的广域网则可以把各个数据中心、分行以及承载网自身各自划分为AS，在AS间采用BGP，AS内使用IGP，承载网AS内实现路由穿越的InternalBGP，提供更为丰富的AS间路由策略选径。

AS内IGP的选择中，以RIP为代表的距离向量路由协议具备较好的路由策略可控性，易于实现基于端口的路由过滤、汇总等处理，但路由收敛较慢，拓扑变化的临界状态有可能出现路由循环和黑洞，不适于大规模部署。OSPF/ISIS等链路状态算法收敛快、稳定性好，因而部署广泛，但基于端口的路由策略受限，影响了通过策略实现流量分配、安全控制等功能的实现。EIGRP（Enhanced Interior Gateway Routing Protocol）本质是距离向量的路由，由于其收敛速度超快、协议运行稳定，被归为兼有距离向量的策略性又有链路状态的高效性的“混合算法”，在我国很多银行需要灵活制定路由策略的网络中也有较多应用。但EIGRP长期以来属于思科公司的专利，影响了在异构网络环境中的应用。2013年思科公司向IETF互联网标准开放了协议（IETF草案），现在很多国内外网络厂商已经开始提供了EIGRP路由协议功能。

4.广域网的服务质量设计

在数据中心局域网中，数据中心的服务质量是数据中心以太网的高品质技术和合理过载比设计保证的，而在广域网上则是依靠基于TCP/IP的服务质量保证（QoS）技术实现。众所周知，TCP/IP协议的技术根源是BestEffort，即无服务质量保证的尽力传送机制，因而需要特定的设计以实现对各类业务的最佳传送。完整的服务质量设计包括三个方面：分析业务质量需求、QoS策略的制订和部署、QoS评测和调整。

（1）分析业务质量需求 首先需要了解银行信息系统中存在哪些应用、其流量特征基线和未来发展情况。其次，需要了解每种应用的服务质量特性和需求，最后制订各个业务的QoS需求。图5-22所示是一个视频业务分析的示例，左侧是业务特征，右侧是包括带宽、延迟、抖动和丢弃率在内的QoS需求。

（2）QoS策略的制定和部署

当我们将各类业务分析出其QoS需求后，就需要遵循一定的QoS设计框架进行QoS策略的制定和部署。IETF规定了两个QoS设计框架模型：

1）差别模型（Diff-Serv）：提供服务质量的差异化服务，质量约定不精确但扩展性好，易实现。

2）整合模型（Int-Serv）：提供服务质量的精确约定和兑现，但体系复杂，难扩展和实现。

银行网络的IPQoS普遍遵循Diff-Serv框架设计，它规定了分类、标识、调度、供给的四步流程准则。如图5-23所示，不同的网络区域被Diff-Serv框架赋予不同的责任，因此也要在其位置赋予不同的QoS策略。

图5-22 业务服务质量需求分析示例

图5-23 Diff-Serv框架设计下的网络区域及职责

（3）评测和调整 基于Diff-Serv模型的IPQoS部署是一种策略制定、部署、评估、调优的闭环过程，需要合理有效地运用工具和评测方法对现网部署过程中的问题进行发现和改进来完成闭环，这部分内容较多，限于篇幅不再赘述，可参考IPQoS设计的专业书籍。

5.多数据中心容灾的网络架构

多数据中心云计算容灾和多活体系建设是一个复杂的系统工程，涉及网络、主机、存储、数据库、数据备份、应用系统、运维管理、灾难恢复和业务连续性等诸多业务和技术。而网络是实现高效率容灾、特别是现代多云融合的多活容灾系统的基础，一个高效的容灾系统网络需要在数据中心内部网络、存储网络和数据中心互连三个方面进行优化，其中数据中心内部网络和存储网络都在相应的章节有过探讨，这里将重点讨论数据中心互连（Data Center Interconnect，DCI）的优化，这包括DCI技术优化和对DCI多数据中心的访问优化两个方面。

（1）数据中心互连（DCI）技术优化 数据中心的业务互连需要通过数据中心之间的底层传输技术来实现，比如同城采用DWDM，异地使用IP的承载网等方式，此处不再赘述。传统的灾备数据中心之间的互连是通过三层连接，而在云计算虚拟化架构下越来越多的协议需要以太网二层环境，主要原因如下：

1）高效率的异地系统冷迁和灾备需要二层互连环境，可以无需重构IP网络环境，简化配置管理，提高RTO；避免重构IP网络对应用系统的冲击；方便通过固定IP访问迁移后的服务器。

2）多云融合架构下的多活数据中心需要二层互连环境：跨地域的多活的集群系统需要二层互连环境；虚拟化资源部署、在线迁移需要二层互连环境。

因此不仅在数据中心内（云内）需要二层环境，在数据中心之间（多云融合）也需要构建二层延展能力，但在构建二层环境时，必须特别注意二层架构搭建的技术选型，因为二层互连有可能破坏了数据中心的灾备独立性，即经过互联的数据中心有可能将多个数据中心构造为共用同一个生成树域、同一个广播域、同一个差错域以及同一个网关域的单一数据中心，这对数据中心的整体稳定性是有损失的。这就需要我们对多云互通的业务进行CAP分析和权衡，即一致性（Consistency）、可用性（Availability）、分区容错性（Partition Tolerance）不可兼得，如何选取决定了不同的设计方案。具体而言，如果我们需要的是紧耦合的数据中心，即数据中心之间更加看重分布在不同中心的业务的一致性和可用性，那么就不得不在分区容错，即数据中心的独立性和差错隔离方面有所损失，此时比较适合的DCI技术是紧耦合的二层延展，如以太网直连。如果我们需要保持数据中心的灾备独立性，那么就需要在一致性和可用性上进行一些折中，DCI往往采用传统的纯三层互连。而更多的情况，用户既需要数据中心的灾备隔离性，同时也需要共享一些二层连通网段帮助进行业务的双活，这就需要在保持一致性和可用性基础上尽可能在分区容错方面少放弃一些，而这就需要一些特殊的技术，比如松耦合的二层延展技术。

松耦合的二层延展技术如果用以太网直接互联或TRILL/PBB等大二层技术实现，将会过于紧耦合；如果用MPLS/VPLS类等运营商二层互联技术实现，则过于复杂，不适合企业部署。为此，IETF推出了称为Overlay Transport Virtualization（OTV）的RFC草案（draft-hasmit-otv-04），是专门为松耦合的二层DCI打造的具备二层广播、生成树、网关和差错域隔离性的Overlay二层延展技术。推出以来，在国内不少银行已得到采用。近期IETF又推出了一个RFC草案，利用以前MPLS二层VPN上提出的Ethernet VPN（EVPN）技术解决基于VXLAN的二层DCI互连问题（draft-boutros-l2vpn-vxlan-evpn），在基本原理上与OTV很相似，但由于借用的BGPEVPN，使其在扩展性和多租户能力上有了新的飞跃，但是也正因为其包含了BGP、MPLSEVPN等运营商技术，使得其配置和维护管理的难度也较OTV复杂了不少。

（2）数据中心业务互连的访问优化 多云架构下的数据中心除了解决数据中心之间的互联问题以外，还要解决对数据中心访问的高效性，如图5-24所示，如果两个数据中心对外发布相同的网段，那么必然会有一部分业务得到的是次优化的访问路径。

当前有多种技术提供自动优化流量的解决方案，比如：

1）健康路由注入方式：健康路由注入是一种自动化路由变更技术，能够对服务器的位置、健康程度、负载情况等复杂的条件进行综合判断，最后将处于最佳位置的服务器路由通知全网，其切换速度快，策略智能化强，适于基于固定IP地址访问的灾备业务。

2）智能DNS方式：智能DNS方式是通过DNS对同一名字的不同地址解析，来实现站点的智能策略化选择。DNS协议处理以域名标识的HTTP/HTTPS的应用为主，由于目前的应用中基于B/S（Browser/Server）结构是应用系统的主流，因此这个技术在容灾系统中应用广泛，适于基于域名且需要高级策略的数据中心多活业务场景。

3）LISP协议方式：LISP（Locator/ID Separation Protocol）是IETF草案，它通过将标识主机ID的IP地址和标识主机位置的IP地址在协议处理上分开，来实现同一地址迁移到不同数据中心时自动更新其位置IP，来实现最优路径的快速切换。其特点是适于IP地址固定的应用，且作为一种内置于网络基础架构的特性，其实现时的切换速度、性能和扩展性都比其他方案有优势，适于大型云计算虚拟化多活和负载迁移频繁使用。

多中心互连的云计算架构其实还包括私有云（Private Cloud）与公有云（Public Cloud）的高效互连形成混合云（Hybrid Cloud）的网络架构问题，这在网络架构未来趋势探讨中会有进一步描述。

图5-24 服务器位置改变后访问路径的次优化问题