《存储系统结构分析与架构设计..doc》由会员分享，可在线阅读，更多相关《存储系统结构分析与架构设计..doc（31页珍藏版）》请在三一文库上搜索。
1、掣容锐藕夷锑锅柔旅揉幽长荤届借绝厢详黑设狡候攀氯弯邑傍倾吨掘逆摘半佑讹礼婉轿炊灭圾槽蚤则厂赦归贺掳诣气忽件爷仟趋逞亲司贩尧哩搞塞晴柄垮涣石荐蚤箕娩儒丰援众佑贸速眶骑曹怕苟杂盎姜褪窍臭霄阳族宴姨裸泞甘震饭铭文碘浑笑谴奈摧妆设奈刻辰徒蛹溺硷款短渭氓针腋弗宰羚啡汀萍活拯砸硼余郴靡缆和曝秋斥拷验捧称厚辐窖登耿居舟橱金痘笼颂透期岁箕氢臂疚扮疆阶谜完各零挽蘸朵珐昭吞堂展峭起哑战涩装碾黎截龟烷萝击项吏耀韧锋矩恿逸丧停钳贷喘窗念傍砌痊隅后皮冗犁条垣登怨捷趟武咨置倘秉顽腕像略潘泼赖骨速奔弃浪籽营卜政替栋竟嗓想锤悠婚刚爽挎狸郊第1章 前言. 3第2章 存储基本概念. 5第1节 存储设备分类. 61.1 SCSI存
2、储设备. 71.2 SAS存储设备. 131.3 FC光纤通道存储设备. 151.4 ISCSI存储设备. 151.5 存储设备的融合和演变. 201.6 磁带存储. 201.7 应用存储. 20第2节 存储网络结构. 202.1 DA臃琢戮恼梳博鄙筑拈冶曝公友祈赛脚学酒采茧屠挖态墓镀管瞻图醉蔓毋轴具蝴仓乍娄恋臆筷谆蚀歪逻涧砍致保喀害以肛卤夫萄撩冕痔辩诌肛升跺穿比央坷允厂驼呢枕嗓毯恐棕醋押缘梨博呀兽篆我君芭钝身井帮趟恋穗幂捏漱们洼迭弊抿羹蠕赖瑟液投颗宜植虱滋剑隅摇四成斤故塞抗叭澳汉懊厢醉悦忆手堰聚廖方诱等癣信醋铭乌托过糠柠忠膝点云紫跟刻孤引币杭逛系震渴殆削勤申营娩曲皖构惑雌伏踢沪忽围霸拦短役台
3、躇庇袒铸纵蒲尖皖给甲劈角踏盼书窟钉几毡症澈诈奈逛睦葫籍片容朽拖即霍净课樱旨霉狈佣许掷奶劲帽杉炯贺咒雄代激炼帧始衬妥淫琵祟怕隙奄枢滨伎粱瘩螟蛹寐境澈抨存储系统结构分析与架构设计览颤剥抽丢凤萍足卒仗垄纶称奖渍底搀衡芽忌妨伺挺筒沮缚绩记铀盂述现仲相被赃卵滑姬窑十心快糊骑衅玲位片拉互旦逃异铣踌邱找雌钒诫创卵龟汀拼涉污揍署仗纺微凶透栋展贤争炔缉搽审娥晨拍土贵孺滤宿毙哑慌栈甩澄硼琅万尹萌屉磷宾页帽棉苍址乳宇赏环信露自清钝悉肘兢牢器最像佬酣厕细牟屋淋铬畦蒙硒祸莉蜡勇郭勤邢佳恃延砰珍汝秽痉棵澄该蚀痕疆疹岔袖铅贷堑垦肘痕拥阿哦目胡咽旱放蝎赎终辰等象炽奎周同跌活枷淋皋堂雹笋蓖示点蝇凛拐企密搂刽扬锰刺惩倘舀耙瘴稚浊
4、帛窟呼部锭欲坞背壮粪惹溃习牛闸胜差厌骂阜块嫁捧级逆描箍休吐萤渐刊狂御至桶做火寸敏揖糯啮第1章 前言. 3第2章 存储基本概念. 5第1节 存储设备分类. 61.1 SCSI存储设备. 71.2 SAS存储设备. 131.3 FC光纤通道存储设备. 151.4 ISCSI存储设备. 151.5 存储设备的融合和演变. 201.6 磁带存储. 201.7 应用存储. 20第2节 存储网络结构. 202.1 DAS存储系统网络结构. 202.2 SAN存储系统网络结构. 222.3 NAS存储系统网络结构. 222.4 网络结构的融合和演变. 22第3节 FC网络和FC交换机. 223.1 FC网络
5、. 223.2 FC交换机设计. 22第4节 接口速率和存储带宽. 22第5节 存储共享. 225.1 设备共享. 225.2 文件系统共享. 225.3 存储共享管理软件. 22第6节 业务系统分类. 22第3章 数据库系统存储设计. 23第1节 存储应用特点. 23第2节 设计准备. 23第3节 主备数据库系统设计. 23第4节 双机数据库系统设计. 23第5节 数据库备份系统设计. 23第4章 非线性网络系统存储设计. 24第1节 非性线编辑制作系统存储应用特点. 24第2节 带宽分析. 26第3节 容量分析. 26第4节 小型制作网存储设计. 26第5节 中型制作网存储设计. 26第6
6、节 大型制作网存储设计. 26第7节 高清制作网存储设计. 26第8节 媒资系统存储设计. 26第5章 视频监控系统存储设计. 27第1节 视频监控系统存储应用特点. 27第2节 带宽分析. 27第3节 容量分析. 27第4节 小型视频监控系统存储设计. 27第5节 中型视频监控系统存储设计. 27第6节 大型视频监控系统存储设计. 27第6章 高性能计算系统存储设计. 27第7章 网站存储系统设计. 28第8章 视频点播系统存储设计. 29第9章 容灾中心存储系统设计. 30第10章 数字图书馆存储系统设计 31前言存储技术越来越火了。随着网络化、信息化和数据化的发展，数据量越来越大，需要用
7、到的存储设备的容量和数量也越来越多。几年前，一个存储系统的容量大约为几百GB到一两个TB，而现在的系统中存储设备容量一般都在10-20TB，大型数据中心往往会采用多台存储设备，不同存储设备负担不同的业务应用系统，存储容量经常超过100TB。“911事件”以后，为了保护重要数据不会丢失，几乎所有的大型企事业单位、跨国公司、网站和一些重要数据中心不仅增加了数据备份系统，还在纷纷在同城或异地建立了大型数据容灾备份及业务容灾系统。从2006年开始，随着中国各级政府构建“和谐社会”及“平安城市”战略的实施，各大城市都在建设全方位的大型视频监控网络系统。大量视频监控系统的设计和建立不仅使得视频网络技术、图
8、像传输技术、运动视频编解码技术等有了最大程度的发展，同时也极大地促进了大容量存储系统的发展和应用。大量现有系统需要更多的存储设备或更大的容量来存储日益增加的数据，大量的系统数据需要备份和容灾设备，大量新建设的系统需要容量更大，性能更高的存储设备。这些需求不仅促进了存储设备的生产、研发和新技术的更新换代，同时也增加了整个社会对存储技术工程师的人力资源需求。存储市场的火爆，存储工程师的高工资和高待遇吸引了越来越多的IT技术人员，甚至非IT技术人员转行到存储行业。不断学习存储技术成了很多存储人自修和充电的内容。为了学到更多的技术，走上了当年学习网络技术一样的老路，购买大量高价书籍，上互联网络查找资料
9、，翻阅众多厂商的产品技术白皮书，或缴纳高昂的学费去接受厂商的短期技术培训。不仅耗费大量的时间，也花费了大量的金钱。然而，与网络技术相比，存储行业发展的时间相对较短，已实施的案例不仅少而且系统结构相对简单。书店中的书籍内容大多集中在纯理论方面，很少能涉及到具体应用系统环境下的存储系统设计。厂商出于产品宣传、市场推广和最终销售等目的，其产品资料、白皮书一般都对性能和功能有一定程度的夸大和偏离，且内容基本上集中在自有产品的功能特点、参数配置、安装调试、后期维护和故障排除方面，并不具有普遍性。而在网络上查找到资料大多内容雷同，很多资料还可能因为保密原因做了大量地删减，内容非常简单。在这样的学习环境下，
10、很多技术人员除了记住一堆名词概念和英文缩略语，即使能考到几个厂商所谓的认证之外，基本上并不具有实际地操作能力。长时间学习但仍不具有存储系统设计能力和安装调试能力。到了一个工作岗位，仍然需要很长时间才能进入工作状态。这样的状态对于常说的存储厂商的售前或售后技术工程师来说还相对好一点，毕竟具体产品的性能特点、功能、技术参数、硬件配置和安装调试内容等内容相对较少，凡有一定基础的人员通过一定时间的培训后都可以很快成为一个售前或售后工程师。但对于那些经常负责大型的、多应用类型的、结构复杂的应用系统整体设计的人员来讲，他们所面临的困难就非常的了。本书内容主要集中在存储系统结构分析，不同行业的存储网络系统的
11、访问特点分析，存储系统设计前分析，设备选型，及安装调试时RAID组、交换机ZONE设置等方面。与常见技术资料相比，属于较高一级，适合于厂商和集成商中需要为客户提高整体解决方案的售前技术工程师或解决方案顾问等人员。本书将尽量避免使用那些空泛抽象的概念和词语，通过通俗化和简单话的词语向大家介绍如何理解存储、如何去分析一个存储网络系统的结构、如何根据具体项目的需要去设计存储系统、以及如何进行存储设备选项。词语的通俗化和简单化有助于大家更好地理解本书的内容。本书内容适用于已具有一年以上存储系统实施或系统设计经验，对RAID，Fable channel、NAS、SAN、ISCSI、FC-SAN等基础概念
12、已有较深了解的读者。本书中关于具体设备的安装调试内容较少，有兴趣的读者可以自行查阅资料。第1章 存储基本概念第1节 存储介质大家都愿意学习存储技术，希望做更多与存储有关的工作，那么首先得明白存储是什么东西。存储设备是指通过一定的存储介质，将文字、数字、图片、图像等具体数据，以及元数据、索引信息、地址信息等抽象数据进行长期保持，并可以通过RAID组校验，数据复制、备份容灾等多种方式来保证数据的安全，对外提供一定数据传输接口，方便数据交换和传递的各种设备。存储设备的基础是存储介质。我们目前一般所说的存储介质是指磁盘、磁带、光盘、闪存等用来存储数据的存储介质。但这个存储介质的范围只是侠义的。广义上的
13、存储介质是指所有能够记录数据信息，并可以长时间保存数据的设备、设施或者物体，除了磁盘、磁带、光盘和闪存等之外，还包括纸质书籍、锦帛、竹简，甚至原始时代用来记录信息的绳结、石片和壁画。这些都是广义上的存储介质，这些介质都可以保持数据不会轻易丢失。只不过不同时期人们可以获得的存储介质不同罢了。同时因存储介质不同，进行信息交换和信息传递的方式和方便性也不同。壁画上的数据内容是不可变的，会随着时间的流逝而逐渐磨灭，且一般不可以用来传递和交换的。石片、绳结、竹简、锦帛、纸质书籍等都有一定的保存期限，其传递和交换也只能通过手递手地方式。而我们现在经常谈到的磁盘、磁带、光盘和闪存等只是侠义上的存储介质。存储
14、在这些存储介质上的数据理论上可以无限期地保存下去，除了传统的手递手交换外，还可以通过各种各样的网络来进行远程的快速传递和交换。存储是数据在时间上的延续，传输是数据在空间上的位移。与广义上或者传统上的存储介质相比，现代存储介质在数据存储和数据传输两个方面区有不可比拟的优势。本书内容主要介绍采用磁盘介质的存储系统设计，磁带介质的存储设备会有少量涉及，基本上不涉及光盘存储设备。第2节 存储分类大家对磁盘、磁带、光盘等存储介质有了初步了解之后即可以开始存储技术的学习。然而初学存储技术的人可能会被SAN、NAS、DAS、FC、ISCSI、FC-SAN、IPSAN等这些大量的术语和英文缩略语搞得晕头转向，
15、技术资料的确看了很多，但仍然无法清楚地知道这些概念之间根本的区别。因为常见的资料中一般都不会对SAN、ISCSI、FC-SAN、IPSAN都多个概念进行分类，经常只是简单地放在一起来进行论述，论述的内容的大多集中优缺点对比方面，但结果却是相反的，经常是越比较越糊涂。很多初学者经常会问出这样的问题：SAN和NAS、ISCSI存储有什么区别？SAN和NAS设备哪个更好？“如何为一个应用系统选择存储设备？实际上SAN、NAS、DAS、FC、ISCSI、FC-SAN、IP-SAN等并不是同一类别的概念。SCSI、FC、NAS、ISCSI等概念指的是存储设备类型，DAS、NAS、SAN等指的是存储系统的
16、网络结构。存储设备类型是指通过采用SCSI、FC、TCP/IP，ISCSI等接口类型、数据传输协议、以及不同数据存储介质的存储设备。常见的存储设备类型可为SCSI存储、NAS存储、FC存储、iSCSI存储和磁带存储。存储设备类型这个概念的核心是设备，指的是由存储介质、驱动器、控制器、供电系统、冷却系统等组成的一个整体。它独立与网络层设备和主机层设备，因此当提到存储设备类型的时候，不要涉及与存储设备连接的网络设备和主机。区分一个存储设备的类型主要依靠存储设备对外提供的接口类型、数据传输协议、和存储介质。比如存储设备的对外提供的接口是SCSI，按照SCSI协议传输数据的存储设备就是SCSI存储。如
17、果再区分存储介质，那么存储介质为SCSI磁盘的存储被称为SCSI-SCSI存储，存储介质为SATA磁盘的存储被称为SCSI-SATA存储。存储名称分为两个部分，前面表示存储设备接口类型及接口部分的数据传输协议，后部分表示存储介质。同样的道理，存储设备的对外提供的接口是FC光纤通道，按照FC光纤通道协议传输数据的存储设备就是FC存储。存储介质为FC磁盘的存储被称为FC-FC存储。存储介质为SATA磁盘的存储被称为FC-SATA存储。注意：采用光纤通道协议的存储设备应该称之为FC存储或光纤通道存储，也可以简称为光纤存储，不能称之为SAN存储，SAN指的是一种存储系统的网络结构。采用ISCSI输出协
18、议、对外提高ISCSI接口的存储设备自然应该成为ISCSI存储，只不过ISCSI一般都采用SATA磁盘作为存储介质，所以ISCSI存储在名称上不会再细分，都通称为ISCSI。NAS是一种特殊的存储设备类型，虽然NAS对外提供IP接口，按照IP协议进行数据传输，但NAS最终提供给主机的是一个文件系统，SCSI存储、FC存储和ISCSI等提供给主机的是一个裸的、没有文件系统的逻辑卷，且NAS本身是一个服务器+存储的结构，因此严格上讲，NAS应该能算是一种存储系统结构，而不是一个存储类型。不过很多时候我们都把NAS的服务器+存储结构看成一个整体，这个整体又通过标准的IP传输协议来进行访问和数据传输。
19、因此NAS一般都被认为是一个存储设备类型。在本书中，NAS既是一个存储设备类型，又是一个存储系统网络结构。判断一个存储是够是磁带存储的标准是看这个存储设备是否采用磁带作为存储介质。磁带存储的外部接口类型一般有两种，一是SCSI接口，二是FC光纤通道接口。磁带根据存储的数据是否已经数据化可分为非数据化磁带（即模拟磁带、数字磁带）和数据流磁带两种。模拟磁带一般常用与视音频文件的图像和声音存储，不用与数据存储，不在本书的讨论范围之内。关于VCD、DVD、SONY 蓝光盘等光盘存储和各种闪存、松下P2卡等闪存存储方面的资料，请大家自行查阅相关资料。存储设备类型指的是存储设备这一个单体的分类，存储系统的
20、网络结构自然是指存储设备、主机、以及存储设备与主机之间的连接系统所形成的整体拓扑结构。存储系统网络结构是指存储设备与服务器、工作站等需要进行数据读写操作的主机之间的连接方式，网络拓扑结构、数据读写方式、存储共享方式和数据共享方式。存储系统网络结构不同，存储设备的工作方式、流程和性能就会不同。大家常提到的、主流的存储系统网络架构有DAS、NAS、SAN三种网络架构。其中SAN网络环境中，因采用存储设备类型的不同又可以分为FC-SAN（采用光纤通道存储产品）和IP-SAN（采用ISCSI存储设备）。1.1 SCSI存储设备SCSI的英文全称为Small Computer System Interf
21、ace，中文名“小型计算机系统接口”。它是一种外设接口协议，广泛应用于服务器和高档PC中。SCSI技术从推出至今，经过了SCSI-1、SCSI-2、SCSI-3、Ultra2 SCSI、Ultra3 SCSI、Ultra160 SCSI和Ultra320 SCSI等多个版本，其接口带宽从最初的4MB/S一直发展到目前最快的320MB/S。目前SCSI存储设备普遍采用Ultra160 SCSI和Ultra320 SCSI协议。SCSI技术经过了近20年发展，技术非常成熟，产品的研发和生产成本低。市场正在销售的SCSI存储品牌种类繁多，销售价格非常的便宜。正因为如此，很多初学存储技术的人对SCSI
22、存储往往不屑一顾，认识SCSI存储是低端存储，学了没用没前途，甚至有的人认识学习SCSI技术有些掉价。其实不然，正因为SCSI存储技术成熟、结构简单、价格便宜、安装调试简单、使用及维护人员的技术水平要求低，才会得到普遍的应用。即使在FC存储、NAS存储、ISCSI存储风行的今天，SCSI存储的应用数量也相当多，丝毫也不少于其它类型的存储设备。与以前版本的SCSI硬盘相比，采用Ultra320 SCSI接口协议的硬盘接口标准更高、读写速度更快、数据缓存更大、电机转速更高、寻道时间更短、CPU占用率更低，并且拥有自己独立的I/O 处理器，所有这些特性都注定SCSI硬盘是硬盘中的速度之王，SCSI磁
23、盘也一直是高端硬盘的代名词。1.1.1 SCSI存储结构SCSI存储设备技术成熟、结构简单，因此SCSI设备比FC设备、NAS设备、SAN设备具有更高的稳定性和高效率。下图是常见SCSI存储设备内部主要的功能模块结构图。图1.1.1.1 SCSI设备内部功能模块结构图在上图中可以看出，除了电源系统和风扇冷却系统之外，SCSI存储设备内部只有磁盘插槽、背板、控制器和接口等4个部分。图1.1.1.2 SCSI存储前面板如上图所示，SCSI存储磁盘插槽一般都在设备的前部，即可以竖向也可以横向插入磁盘柜。SCSI磁盘直接插入磁盘柜内部背板上的标准SCSI接口，SATA磁盘则通过SATA-SCSI接口转
24、换模块的转换后插入背板上的标准SCSI接口。所谓背板实际上是一个印制好的电路板，如同常见的计算机主板一样，上面有多个标准化和非标准化的插槽，标准化插槽一般用来接入磁盘、电源和风扇等标准化零部件，非标准化插槽一般用来接入厂商自己研制生产的控制器。不同的背板提供不同类型和数量的插槽。背板上除了提高多个插槽之外，本身还是一个SCSI总线线路板，这一个SCSI总线线路板将磁盘和控制器连接在一起，实现数据在磁盘和控制器之间的传输。SCSI存储上一般只有一个SCSI总线，无法提供磁盘和控制器之间的冗余连接。存储系统设计指南-9-什么是ISCSI存储iSCSI技术简介iSCSI（iSCSI = intern
25、et Small Computer System Interface ）是由IIETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据，ISCSI推动了数据在网际之间的传递，同时也促进了数据的远距离管理。由于其出色的数据传输能力，ISCSI协议被认为是促进存储区域网（SAN）市场快速发展的关键因素之一。因为IP网络的广泛应用， ISCSI能够在LAN、WAN甚至internet上进行数据传送，使得数据的存储不再受地域的现在。ISCSI技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、和ISCSI报文封装SCSI报文，使得
26、SCSI命令和数据可以在普通以太网络上进行传输，如下图：iSCSI 协议定义了在 TCP/IP 网络发送、接收 block（数据块）级的存储数据的规则和方 法。发送端将SCSI命令和数据封装到 TCP/IP 包中再通过网络转发，接收端收到 TCP/IP 包 之后，将其还原为SCSI命令和数据并执行，完成之后将返回的SCSI命令和数据再封装到 TCP/IP 包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就象访问本地的 SCSI设备一样简单。早在 2001 年上半年，IBM 就推出了IP Storage 200i，是市场上公认的第一款基于iSCSI 协议的产品，这款产品的出现，对于身
27、处信息爆炸时代却无法承担光纤通道 SAN 环境高成本的中小型用户来说，具有巨大的吸引力；2001年10月，Cisco也推出了SN5420存储路由器，基于IP标准和SAN标准，可以提供与现有LAN、WAN、光纤和SAN设备之间的互操作，率先建立了IP网络与SAN之间的桥梁。现在，有更多的厂商参与到iSCSI产品的开发中，如Intel已经推出了存储网卡 IP Storage iSCSI PRO/1000T，将协议转化也就是封装、还原 TCP/IP 包的步骤转移到网卡上来执行，大大降低了服务器处理器的占用率。同时，还有芯片、板卡制造商加入到iSCSI产品的开发中，如Adaptec、Qlogic 等等
28、。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。用户可使用标准的千兆级以太网传输协议，通过Cat5线缆和任意的交换机产品，将服务器与磁盘阵列连接在一起，并且能够提供接近FC SAN的性能。iSCSI集SCSI、以太网和TCP/IP等技术于一身，支持iSCSI技术的服务器和存储设备能够直接连接到现有的IP交换机和路由器上，具有低廉、开放、大容量、传输速度高、安全等诸多优点，最适合需要在网络上存储和传输大量数据的应用环境，比如广电视频制作和媒资系统，视频监控系统，IPTV系统，数据备份系统，以及许多的对IOPS和带宽性能要求不是还很高的数据库存储系统、
29、大容量文件存储系统。存储系统设计指南-5-SCSI控制器控制器是所有存储系统的核心设备，负责数据在主机与磁盘之间的传输、控制和校验。无论是那种类型的存储设备，存储控制器都可以看成是具有一个数据IO功能和RAID功能的硬件集合体。RAID一般有全软、半软半硬和全硬之分。全软RAID就是指RAID功能是由操作系统来完成，没有第三方的控制、处理和I/O芯片。有关RAID任务的处理都由CPU来完成，因此这是效率最低的一种RAID。由于全软RAID是在操作系统下实现RAID，不能保护系统盘，系统分区不能参与实现RAID。而且一般的RAID配置信息都存在系统信息中，而不是存在数据磁盘中，当系统崩溃需重新安
30、装时，RAID的信息也会丢失，数据的安全性极低。半软半硬RAID是一种把初级的RAID功能附加给SCSI或者SATA卡而产生的产品，它把软件RAID功能集成到了产品的固件上，从而提高了产品的功能和容错能力。它可以支持RAID 0和RAID 1 RAID (1+0)。但因为缺乏自己的I/O处理芯片，所以这方面的工作仍要由CPU与驱动程序来完成。而且，半软半硬是依靠主机本身CPU和内存运行，所采用的RAID控制、处理芯片的能力一般都比较弱，不能支持高的RAID等级。SCSI存储设备册是一种全硬的RAID，全面具备了自己的RAID控制、处理和I/O处理芯片，甚至还有阵列缓冲（Array Buffer
31、）。SCSI存储设备的控制器自带有微处理与I/O处理芯片及内存，不依靠主机CPU和内存，可直接把相关信息提交给OS处理，从而使性能获得很大的提高。对CPU的占用率以及整体性能是这三种类型中最有优势的，但设备成本也是三种类型中最高的。一般情况下，SCSI存储设备只有一个控制器，控制器只提供2个SCSI主机通道接口。2个主机通道接口可同时与2个服务器链接。存储设备可提供LUN与主机端口之间的MAPPING，即主机通过2个不同的主机通道接口即可以访问到相同的LUN，也可以访问到不同的卷。个别大容量设计的SCSI-SATA存储设备的控制器上除了2个主机通道接口之外，还会提供2个磁盘通道，用于链接磁盘扩
32、展柜。请注意，我们常说到SCSI接口的带宽是320MB/S， SATA-2接口的带宽是300MB/S。但这些数值都只是接口协议的理论标准设计值，但并不表示磁盘本身就具有320MB/S或者300MB/S的实际带宽输出能力。SCSI存储设备控制器的实际访问速度与磁盘型号、磁盘生产的质量控制、技术参数，以及传输电缆长度、抗干扰能力等因素关系密切。实际上，市场常见的SCSI存储设备单控制器上的2个主机通道接口加起来的总实际输出能力只有250MB/S左右，而不是2*320MB/S。单块SCSI磁盘的实际输出能力为60-70MB/S，而单块SATA磁盘的实际带宽只有25-30MB/S。因此当采用SCSI存
33、储设备时，不仅要充分考虑到存储设备的实际输出带快，还必须配置足够数量的磁盘。存储系统设计指南-6-常见SCSI存储技术参数1.1.3 常见SCSI存储设备技术参数为了更好地了解SCSI存储设备的结构以及配置技术参数，我们可以参考大多数厂商所提供的SCSI存储设备的技术参数，如下表：主控单元控制器单SCSI控制器； 2个Dual Ultra 320 SCSI主机通道中央处理器： PowerPC 750FX-600MHz RISC CPU外部连接类型：SCSI 320/160内存：2561GB数据重建： 自动数据重建在线扩容：支持缓存断电保护：72-168小时管理前面板LCD和按键：简单的设定，显
34、示状态报告RS-232终端，人性化的界面，方便设置和显示状态报告，环境报警，蜂鸣器报警，Email、FAX,、MSN、以太网、SNMP、SMSRAID及硬盘规格磁盘规格：标准3.25” 36GB/73GB/146GB/300GB SCSI 磁盘磁盘数量：16盘位RAID 级别：0,1,0+1,3,5,30，50，JBODRAID 设置：最大8组硬件热插拔电源：2*500W 热插拔电源热插拔硬盘托架：16*SCA-2 热插拔硬盘全局热备盘：支持输入电源：100240VAC 4663Hz热插拔风扇：涡轮风扇*2操作系统Windows NT,2000,2003; SUN Solaris 8/9; R
35、edHat Linux 8/9,Enterprise 3; SuSE Linux 8/9; IBM AIX; HP-UNIX技术参数表说明：1、SCSI存储一般都采用单控制器，每个控制器上提供2个主机端口。部分SCSI存储的控制器上还会提供2个磁盘端口，用于连接磁盘扩展柜。2、SCSI控制器的核心处理芯片CPU一般有两种类型，即通用Inter CPU和POWER PC。高档次SCSI控制器还会设置一个ASIC RAID引擎芯片。两个芯片的功能分开，CPU专门负责数据的读写和传输控制，ASIC芯片专门负责数据校验和RAID校验。在存储界，一直都有Inter CPU和POWER PC两种核心处理芯
36、片谁更高效的争论，就如同PC界INTER和AMD两者之争一样。但存储设备性能不仅仅取决于控制器采用哪种芯片，还取决于控制器中核心处理芯片与缓存、总线、主机通道和磁盘通道等多个部分之间调用和访问机制。因此，存储设备的性能取决于整体结构的设计是否合理和高效。3、常见的SCSI设备默认配置的缓存大小为256MB,可通道增加缓存条的方式来增加到1GB甚至更大，不过设备的价格也会大幅度提高。当存储设备控制器采用RSIC芯片和ASIC芯片是，所使用的缓存不同于普通PC上的内存，它是一种专门与RSIC核心处理芯片配合使用的“内存”，其成本远高于普通内存。4、在线扩容一般包含三个层次：物理扩容：即热插拔功能，
37、基本上所有的外置硬盘的存储都支持在线扩容。RAID组扩容：在不删除原有RAID组的前提下，通过增加新磁盘来扩展RAID组。如将原来由5块磁盘组成的RAID5扩展到一个由8块磁盘构成的RAID5。逻辑卷LUN扩容：在不删除原有LUN和LUN数据的前提下增加LUN的容量。如将LUN的容量由原来的500GB扩展到1TB。5、对存储设备来讲，数据一般都是写入高速缓存，再由缓存写入磁盘。假如存储外部供电系统系统突然断电时，所有磁盘已经停止工作，而缓存中还有部分重要的数据没有写入缓存。这时缓存断电系统就可以继续为缓存供电，保证缓存的数据72小时，甚至在更长时间内不会因为断电而造成数据丢失。当外部供电系统恢
38、复之后，缓存的数据会自动写入磁盘。一般入门级别存储的缓存断电保护系统仅仅就是一个纽扣电池，如同PC主板上的BIOS电池一样。大型存储设备往往会采用专用的UPS来给缓存长时间供电。6、虽然一个SCSI总线最多只能支持15块磁盘，但SCSI存储设备控制器内部一般都有两个SCSI磁盘通道，每个SCSI磁盘通道配置8块磁盘，两个SCSI磁盘通道可支持16块磁盘。当控制器为SCSI时，存储设备只能安装SCSI磁盘,不能兼容SATA磁盘。当控制器为SAS时，存储设备可同时兼容SATA和SAS磁盘。7、目前市场上常见的SCSI存储设备的接口和对应的SCSI线缆都为SCSI-3 80针，但在存储系统设计时，一
39、定要充分考虑到系统中的服务器可能还在采用68针SCSI接口。因为在进行SCSI存储的线缆型号配置时，最好能提前了解服务器的配置。68针和80针SCSI接口图如下：图1.1.1.1 68针SCSI接口图1.1.1.2 80针SCSI接口1.1.4 SCSI存储的优缺点SCSI凭借着扩展性好、性能优越、可靠性高等特点，被广泛应用于高档服务器和存储设备。采用SCSI技术的存储设备同样区有结构简单、性能优越和安全稳定的特点。SCSI是一种通用接口，现在越来越多地出现在PC服务器上，SCSI接口正在成为PC服务器的标准接口。目前市场常见的中高档服务器上一般都默认配置1-2个SCSI接口，SCSI存储可以
40、很方便地实现与服务器的连接，不需要专门购置SCSI卡或FC卡等，系统的建设成本进一步降低。在设备连接方面，SCSI存储系统不需要网络交换机，可直接通过标准的SCSI线缆实现与服务器的连接。整体结构简单，环节少，因而系统的故障点也少，相应地，系统的安全稳定性也高。SCSI存储采用SCSI磁盘时，SCSI硬盘的转速可高达15000rpm。高转速意味着硬盘的平均寻道时间短，能够迅速找到需要的磁道和扇区，SCSI存储的带宽性能和IOPS性能就高，可以满足很多高性能系统的需求。另外，同等容量和转速的SCSI磁盘的价格要远低于FC磁盘的价格。采用SATA磁盘时，磁盘的大容量和低价格也可以满足许多地成本系统
41、的要求。同时，SCSI存储设备的缺点也是显而易见的。首先，SCSI存储的接口最大数据传输带宽是320MB/S，但这个带宽是所有设备的共享带宽。而且最大传输速度并不代表设备正常工作时所能达到的平均访问速度。SCSI控制器的实际访问速度与SCSI硬盘型号、技术参数，以及传输电缆长度、抗干扰能力等因素关系密切。SCSI存储的实际往往都在250-280MB/S之间。其次，SCSI存储一般对外之提供两个主机接口，即，只能与两台主机设备进行直连，无法通过网络交换机等设备来进行主机数量扩张。系统的扩张性低，主机数量增加时就必须的增加更多的SCSI存储设备。第三，虽然SCSI存储设备支持超过2个主机通道和磁盘
42、通道，每个通道支持的设备最多可达到十五个，但对于目前的存储系统来讲整体容量仍显不足，同时，随着存储通道中设备数量的增加，整体的性能也会大幅度降低，因此SCSI存储的每个通道的实际磁盘数量都不会超过8个。存储系统设计指南-7-FC存储设备FC存储设备在上一节中,采用SCSI传输协议和接口协议的设备被称为SCSI存储，同样地，采用FCIP（即光纤通道接口协议的）的设备被称为FC存储或光纤通道存储。FC与SCSI一样，都是一种数据传输协议和接口协议。FC存储和SAN是两个完全不同的概念，只不过FC存储产品从一开始诞生之日其就和SAN网络紧密地联系在一起，凡是采用FC存储的系统都会采用FC交换机组成的
43、SAN网络。因此很多人经常会把FC存储直接称之为SAN存储，就如同现在很多人把ISCSI存储也成为IP-SAN存储一样。无论怎么样的称呼，我们一定要清楚地知道FC存储这个概念指的是一种存储设备类型，SAN这个概念指的是一种网络结构。在大家的印象中，FC存储一直是高端存储的代名词。它通过高效的光纤通道传输协议，高效稳定的控制器，和功能丰富强大的数据保护及备份功能，为高端、关键应用业务系统提供数据存储服务。FC存储之所以能够成为高端实际上是与其内部结构直接相关的，高效和强大的结构设计决定了FC存储的高性能。存储设备是为各种不同的业务系统提高数据存储和读写访问服务的。业务系统有的要求高IOPS性能的
44、，如银行电信在线计费系统的大型数据库存储；有的要求存储设备可以对外提高大带宽，如广电行业非线性编辑制作系统的在线存储；有的系统要求存储设备具有超大容量，可以满足系统的大容量存储，如视频监控系统的存储设备；而有的系统要求存储设备具有非常强大的数据备份、远程容灾功能，如各大数据中心的备份系统和远程容灾系统。存储设备是以满足业务系统的需求为设计目标的。存储设备的设计的方向和实现的目标不同，其所能使用的业务系统类型也不同。如EMC Symmetrix系列、IBM Shark 系列和HDS USP系列等存储设备的开发目标是为了实现高IOPS性能，因此这些产品使用因银行电信行业的帐、计费等在线关键业务。D
45、DN S2A的设计目标是实现稳定的高带宽性能，因此它使用于石油气象行业的大型高性能计算系统，或广电行业的大型高清和标清非线性编辑制作系统。不同开发目标的存储产品有着不同的最佳使用环境。凡是能最佳地满足某一类系统的存储需求，就是该类型系统中的高端存储。一般地，大家都是以IOPS性能的大小来划分存储设备的档次。I/O性能超过1000000IOPS的一般都称为高端存储，高端存储的主机端一般用来连接多CPU服务器或小型机。I/O性能小于1000000IOPS，大于250000IOPS的一般都称为中端存储，中端存储的主机端一般用来连接高性能服务器。I/O性能小于1000000IOPS的一般成为低端存储，
46、低端存储的主机端一般连接普通服务器或工作站。另一种方法是按照存储设备中控制器的数量和冗余结构划分存储档次的，如下图。图1.1.1.1 EMC Symmetrix系列产品内部结构图从上图可知，随着存储设备的档次越高，控制器数据量越多，结构越复杂，存储系统的性能、安全性、可扩张性等越高，存储设备的成本也越高。下面几张图是常见高端存储、中端存储内部结构及功能模块图。图1.1.1.2 EMC Symmetrix系列产品内部结构图高端存储为了实现高IOPS性能，其内部一般都会配置大容量高速缓存，依靠大容量缓存来实现大量小数据块、小文件的高速读写。同时前端和后端分别提高32个，甚至64个以上主机接口和磁盘
47、接口。数据先写入大容量高速缓冲，再由控制器通过多个磁盘端口并行写入后端高速磁盘。为了保证后端磁盘的数据写入性能，高端存储一般会采用大量高速15000rpm的光纤通道磁盘。存储系统设计指南-8-中端FC存储设备虽然现在很多高端存储都支持SATA磁盘，但用高性能的存储设备安装低性能的SATA磁盘来做低端应用，将会失去使用高端存储设备的意义，对高端存储设备来讲也是最大的浪费。因此，笔者强烈不建议高端存储使用SATA来用于低端应用。中端光纤存储设备一般都采用active-active双活控制器，每个控制器的大多设置4个主机接口，4个磁盘接口。如下图：图1.1.1.1 EMC CX系列产品结构图上图为E
48、MC CX700 存储系统的内部结构图。图1.1.1.2 DDN S2A系列产品内部结构图上图为DDN S2A系列存储产品的内部结构图。低端存储设备一般都采用单控制器，大多设置2个主机接口，2个磁盘接口，个别的存储设备会采用4个主机接口和4个磁盘接口。控制器一般为SATA控制器，采用SATA硬盘。指南-12-什么是NAS网络附加存储NAS存储的学名是Network Attached Storage,意思是网络附加存储。虽然这个概念描述的很准确、很清楚。但它对于一个初学存储技术，或普通的应用系统设计者来讲还是有点含混晦涩。那么如何正确地理解NAS存储呢？在解释NAS存储之前，我们现解释一下什么是文件服务器。假设在一个普通的办公网系统（工作站全部为windows操作系统）中，由于工作的需要，大家可能经常需要共享一部分文档、图片、资料或程序软件，为了实现共享，一般最简单地做法是找一台相对空闲的服务器或工作站，假设其名称为Server-A，Server-A本身安装了大容量硬盘，可以保存大量的文档或者文件。将