存储协议：基本概念与实践应用

存储协议主要有SCSI协议、光纤通道FC协议、iSCSI协议、FCIP、iFCP、AOE协议、Infinband协议等。

（一）SCSI协议

SCSI是一种为小型机研制的接口技术，用于主机与外部设备之间的连接，如图6-23所示为SCSI工作原理示意图。其通常用于服务器承担关键业务的较大的存储负载，SCSI计算机发送命令到一个SCSI设备，磁盘可以移动驱动臂定位磁头，在磁盘介质和缓存中传递数据，整个过程在后台执行，可以同时发送多个命令同时操作，适合大负载的I/O应用。

图6-23 SCSI示意图

自从ANSI于1986年批准SCSI-1以来，SCSI经历了SCSI-2、SCSI-3等多个版本的标准。SCSI-1定义了硬盘、磁带和其他存储设备的物理接口、传输协议和标准指令集。SCSI-2提高了速度和总线带宽，支持多线程指令，增加了更多存储设备类型指令集。SCSI-3定义了更高的速度类型，如Ultra-2/Ultra-160/Ultra-320等，将物理接口、传输协议和SCSI指令集分层等。如表6-6所示为一些可用的并行SCSI。SCSI-3是所有存储协议的基础，其他存储协议都要用到SCSI的指令集。

表6-6 各种并行SCSI协议

1.SCSI体系架构

定义了SCSI系统模块和各单元的功能分工，如图6-24所示。

1）特定设备指令集：包括磁盘设备的SCSI块指令（SCSI Block Commands）等。

2）基础指令集：所有SCSI设备都必须实现的基础指令（SCSI Primary Commands）

3）SCSI传输协议：是一套设备间通信和共享信息的标准集规则，如光纤通道FC、iSCSI等。

图6-24 SCSI体系架构模型

4）物理连接：是关于接口的一些细节，例如电子信号方法和数据传输模式等。

2.SCSI-3客户-服务器模型

SCSI-3协议采用客户-服务器关系架构，客户直接发服务请求给服务器，然后服务器响应客户的请求。在SCSI-3的客户-服务器模型中，一个特定的SCSI设备作为一个SCSI目标方设备，或一个SCSI发起方设备，或一个SCSI目标方/发起方设备。SCSI发起方设备可以发出指令到SCSI目标方设备进行任务描述。SCSI目标方设备可以执行SCSI发起方发送过来的指令并完成任务。如图6-25所示为SCSI-3的客户-服务器模型，SCSI发起方/客户，发送一个请求给SCSI目标方/服务器。然后目标方执行任务请求，并且使用协议服务接口发送输出信息给发起方。SCSI目标方设备包含一个或多个逻辑单元。一个逻辑单元就是一个对象，实现了在SCSI指令标准中描述的其中一种设备功能模型。逻辑单元处理SCSI发起方发送过来的指令。一个逻辑单元包含两个部件：一个设备服务器和一个任务管理器。

图6-25 SCSI-3的客户-服务器模式示意图

3.SCSI的通信模型

包含三个互相关联的层，如图6-26所示。SCSI应用层（SCSI Application Layer，SAL）

图6-26 SCSI通信模式示意图

包含了客户端和服务器端的应用程序，通过SCSI应用程序协议发起和处理SCSI的I/O操作。SCSI传输协议层（SCSI Transport Protocol Layer，STPL）包含发起方和目标方进行通信的服务和协议。互连层实现发起方和目标方之间的数据传输功能，包含服务、信号机制和互连数据传输等。

4.SCSI的优缺点

SCSI的优缺点如表6-7所示。

表6-7 SCSI的优缺点

（二）光纤通道FC协议

光纤通道FC（Fibre Channel）是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元，为存储系统提供一个网络连接模式。

1.光纤通道的网络架构

光纤通道按协议层进行分层，各层之间技术相互独立，留有增长空间，并且由被认可的标准化机构进行开发，分层结构共分5层，如图6-27所示。

1）FC-0（物理层底层）：定义了连接的物理端口特性，包括介质和连接器（驱动器、接收机、发送机等）的物理特性、电气特性和光特性、传输速率以及其他的一些连接端口特性。

2）FC-1（传输协议）：规定了8B/10B（意指8位/10位）编码方式和传输协议，包括串行编码、解码规则、特殊字符和错误控制。

3）FC-2（帧协议）：规定了具体的传输机制，包括帧格式，节点间的信息交换。

4）FC-3（公共服务）：提供高级特性的公共服务，即端口间的结构协议和流动控制，它定义了三种服务：条块化（Striping）、搜索组（Hunt Group）和多路播放（Broadcast Mul-ticast）。

5）FC-4（ULP映射）：定义了Fibre Channel和IP，SCSI-3以及其他的上层协议（ULP）之间的接口。

图6-27 光纤通道的网络架构示意图

2.光纤通道的网络拓扑结构

光纤通道的网络拓扑结构有三种基本形式：点对点、仲裁环路和交换架构，如图6-28所示。

图6-28 光纤通道网络拓扑结构示意图

1）点对点：是一种直接连接，只能连接2个设备，适用于小规模存储设备的应用，不具备共享功能。

2）仲裁环路：环路中每个节点的TX端口连接到邻近节点的RX端口，直到形成闭环为止，如图6-29所示。利用光纤集线器环路最多支持126个节点设备。由于环路上不是令牌传输方案，故不限制设备保留控制的时间。

仲裁环路上节点设备的操作顺序为：环路控制仲裁、打开到目标设备的通道、传送数据，最后为关闭。

3）交换架构：每个端口有100～200Mbit/s的带宽，添加新设备可以增加总的带宽，网路中利用光纤通道交换机最多可支持1600万个节点设备，支持分区功能，如图6-30所示。

光纤通道FC网络的端口类型丰富，不同的设备之间端口类型也不一样，如图6-31所示。服务器或存储设备的端口为N端口和NL端口，而FC交换机的端口为F端口、FL端口、E端口和G端口等。

图6-29 仲裁环网原理示意图

图6-30 光纤通道交换机功能示意图(https://www.xing528.com)

图6-31 FC网络端口示意图

3.光纤通道FC的优缺点分析

1）优势：连接设备比SCSI多；高带宽、低时延；实现光纤和铜缆的无缝连接；连接距离远远超出并行SCSI存储设备。如图6-32所示为FC通道的具体应用。

图6-32 FC通道的应用

2）不足：构建维护成本高，时间长；互操作性不高，FC协议在实现上各个厂商有所不同；FC-SAN缺少统一管理标准；FC理论上最长传输距离10km左右，在互联网存储应用中会成形成信息孤岛。

（三）iSCSI协议

iSCSI（Internet SCSI）指互联网小型计算机系统接口，是一种把SCSI命令和块状数据封闭在TCP中，在IP网络中传输的一种传输标准，它的传输协议是TCP/IP。iSCSI作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SAN存储，即实现在IP网络上运行SCSI协议，使其能够在诸如高速以太网上进行路由选择。iSCSI继承了两大最传统技术：SCSI和TCP/IP。基于iSCSI的存储系统只需要不多的投资更可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性和安全性等问题。

1.iSCSI协议的网络架构

其协议栈自顶向下一共可分为5个层次，如图6-33所示。

1）SCSI层，包括图6-33中最上面三个层次：根据应用发出的请求建立SCSI CDB（命令描述块），并传给iSCSI层；同时接受来自iSCSI层的CDB，并向应用返回数据。

2）iSCSI层：对SCSI CDB进行封装，以便能够在基于TCP/IP的网络上进行传输，完成SCSI到TCP/IP的协议映射。这一层是iSCSI协议的核心层。

3）TCP层：提供端到端的透明可靠传输。

4）IP层：对IP报文进行路由和转发。

5）以太网Link层：提供点到点的无差错传输。

2.iSCSI的工程流程

iSCSI的工程流程如图6-34所示。

图6-33 iSCSI协议栈的原理示意图

图6-34 iSCSI的工程流程示意图

iSCSI系统由SCSI适配器发送一个SCSI命令，命令封装到TCP/IP包中并送入到以太网络。接收方从TCP/IP包中抽取SCSI命令并执行相关操作。把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。系统提取出数据或命令，并把它们传回SCSI子系统。从这里可看出，iSCSI协议是一个在网络上封包和解包的过程，在网络的一端，数据包被封装成包括TCP/IP头、iSCSI识别包和SCSI数据三部分内容，传输到网络另一端时，这三部分内容分别被顺序地解开。

3.iSCSI存储系统的架构类型

iSCSI从架构上可以分为控制器系统架构、iSCSI连接桥系统架构、PC系统架构和PC+NIC系统架构4种类型的iSCSI存储系统。

控制器系统架构的核心处理单元采用高性能的硬件处理芯片，每个芯片功能单一，处理效率较高。操作系统是嵌入式设计，控制器架构的iSCSI存储设备具有较高的安全性和稳定性。控制器架构iSCSI存储内部基于无线缆的背板链接方式，完全消除了链接上的单点故障，系统更安全，性能更稳定。一般用于对性能的稳定性和高可用性具有较高要求的在线存储系统，比如：中小型数据库系统，大型数据的库备份系统，远程容灾系统，网站、电力或非线性编辑制作网等，如Equlogic PS300E系列、Infortrend EonStor A16E、UIT BS 2000e/3000e等。

iSCSI连接桥系统架构分为两个部分：一个部分是前端协议转换设备，另一部分是后端存储。前端协议转换部分一般为硬件设备，主机接口为千兆以太网接口，磁盘接口一般为SCSI或FC接口，可连接SCSI磁盘阵列和FC存储设备。通过千兆以太网主机接口对外提供iSCSI数据传输协议。后端存储一般采用SCSI磁盘阵列和FC存储设备，将SCSI磁盘阵列和FC存储设备的主机接口直接连接到iSCSI桥的磁盘接口上。iSCSI连接桥设备本身只有协议转换功能，没有RAID校验和快照、卷复制等功能。创建RAID组、创建LUN等操作必须在存储设备上完成，如SANRAD的V-Switch系列，ATTO Technology的iPBridge系列等。

PC系统架构是在普通的PC服务器加装iSCSI target软件，使之变成一台iSCSI存储设备，并通过PC服务器的以太网卡对外提供iSCSI数据传输协议。所有的RAID组校验、逻辑卷管理、iSCSI运算、TCP/IP运算等都是以纯软件方式实现，对PC的CPU和内在的性能要求较高。iSCSI存储设备的性能极容易受PC服务器运行状态的影响，如Intel SSR212CC、H3C EX0000与HP MSA1510i等产品。

PC+NIC系统架构指在PC服务器中安装高性能的TOE智能NIC卡，将CPU资源较大的iSCSI运算、TCP/IP运算等数据传输操作转移到智能卡的硬件芯片上，由智能卡的专用硬件芯片来完成iSCSI运算、TCP/IP运算等，简化网络两端的内存数据交换程序，从而加速数据传输效率，降低PC的CPU占用，提高存储的性能。

4.iSCSI的优势

iSCSI具有高可靠性、良好的扩展能力；易于管理，IP技术成熟，具备IP知识的专业技术人员多；基于TCP/IP网络，无传输距离限制，实现数据远程复制（Data Replication）和异地数据交换、备份及容灾等；减少了异构网络和电缆，不需要特殊的FC交换机等。

iSCSI协议是存储未来的发展之路。

（四）FCIP（Fibre Channel over IP）

FCIP是IETE与ANSI共同提出的基于IP的光纤通道方案，采用这种模式，光纤通道数据帧被压缩为IP帧传输，在两个SAN之间通过IP网络建立点到点的隧道，构成一个统一的SAN环境。一般应用于两个FC SAN孤岛通过IP连接成一个大的FC SAN。

FCIP协议的特点：

1）基于IP的FC隧道协议，将FC帧封装在TCP/IP上。

2）FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装，如图6-35所示。

图6-35 FCIP网关的封装示意图

（五）iFCP（Internet FC）

iFCP在FC与IP之间建立网关到网关的连接，使FC帧可以路由到正确的目的地址，为TCP/IP网络上的FC端设备提供FC网络服务，也就是可以实现端到端的IP连接。它可以允许每一个互连的SAN都拥有自己独立的命名空间。其实现起来比FCIP复杂。

应用场合：光纤通道设备（无FC交换机）或者将该设备直接连接到IP网络上。

iFCP的特点：

1）FC消息和路由服务iFCP网关处终结。网关将每个FC地址映射到一个IP地址，如图6-36所示。

图6-36 iFCP的帧封装示意图

2）具有故障隔离功能。

3）部署时需要iSNS服务器（通常集成在iFCP网关上）

三种IP网络存储协议的比较，如表6-8所示。

表6-8 三种IP网络存储协议的对比