《Hadoop分布式文件系统-架构和设计要点(翻译).docx》由会员分享，可在线阅读，更多相关《Hadoop分布式文件系统-架构和设计要点(翻译).docx（26页珍藏版）》请在三一文库上搜索。
1、Hadoop分布式文件系统：架构和设计要点（翻译一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成 百上千的server组成，任何一个组件都有可能一直失 效，因此错误检测和快速、自动的恢复是 HDFS的核心 架构目标。2、跑在HDFS上的应用与一般的应用不同，它们主要 是以流式读为主，做批量处理；比之关注数据访问的 低延迟问题，更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标，一个存储在上面的 典型文件大小一般都在千兆至T字节，一个单一 HDFS 实例应该能支撑数以千万计的文件。4、HDFS应用对文件要求的是write-one-read-many 访问模型
2、。一个文件经过创建、写，关闭之后就不需 要改变。这一假设简化了数据一致性问题，使高吞吐 量的数据访问成为可能。典型的如 MapReduce框架， 或者一个web crawler应用都很适合这个模型。5、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近比之将数据移动到应用所在显然更好，HDFS提供给应用这样的接口。6、在异构的软硬件平台间的可移植性。二、Namenod琲口 DatanodeHDFS采用master/slav既构。一个 HDFS集群是有一个 Namenode和一定数目 的Datanode组成
3、。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节 点上它们附带的存储。在内部，一个文件其实分成一个或多个block,这些block存储 在Datanode集合里。Namenode执行文件系统的namespaceft作，例如打开、关闭、 重命名文件和目录，同时决定block至U具体Datanode节点的映射。Datanode在 Namenode的指挥下进行block的仓建、删除和复制。Namenode和Datanode都是 设计成可以跑在普通的廉价的运行linux的机器上。HDFS采用java语言
4、开发，因此 可以部署在很大范围的机器上。一个典型的部署场景是一台机器跑一个单独的 Namenode节点,集群中的其他机器各跑一个Datanode实例。这个架构并不排除一 台机器上跑多个Datanode不过这比较少见。单一节点的Namenode大大简化了系统的架构。Namenode负责保管和管理所 有的HDFS元数据，因而用户数据就不需要通过 Namenode也就是说文件数据的读 写是直接在Datanode上。三、文件系统的 namespaceHDFS支持传统的层次型文件组织，与大多数其他文件系统类似，用户可以创建 目录，并在其间创建、删除、移动和重命名文件。HDFS不支持user quota环
5、口访问权限,也不支持链接（link,不过当前的架构并不排除实现这些特性。真的不掉线 吗？?、？Namenode维护文件系统的namespaceE何对文件系统 namespac等口文件属性 的修改都将被Namenode记录下来。应用可以设谿HDFS保存的文件的副本数目， 文件副本的数目称为文件的replication因子，这个信息也是由Namenode保存。四、数据复制HDFS被设计成在一个大集群中可以跨机器地可靠地存储海量的文件。它将每个文件存储成block序列,除了最后一个block,所有的block都是同样的大小。文件的所有block为了容错都会被复制。每个文件的 block大小和repl
6、ication因子都是可配谿的。Replication因子可以在文件创建的时候 配谿，以后也可以改变。HDFS中的文件是write-one,并且严格要求在任何时候只有 一个writer。Namenode全权管理block的复制，它周期性地从集群中的每个 Datanode接收心跳包和一个Blockreport。心跳包的接收表示该Datanode节点正常 工作，而Blockreport包括了该 Datanode上所有的block组成的列表。1、副本的存放，副本的存放是HDFS可靠性和性能的关键。HDFS采用一种称 为rack-aware的策略来改进数据的可靠性、有效性和网络带宽的利用。这个策略实
7、现的短期目标是验证在生产环境下的表现，观察它的行为，构建测试和研究的基础，以 便实现更先进的策略。庞大的 HDFS实例一般运行在多个机架的计算机形成的集 群上，不同机架间的两台机器的通讯需要通过交换机，显然通常情况下，同一个机架内 的两个节点间的带宽会比不同机架间的两台机器的带宽大。通过一个称为 Rack Awareness的过程,Namenode决定了每个 Datanode所属的 rack id。一个简单但没有优化的策略就是将副本存放在单独的机架上。这样可以防 止整个机架（非副本存放失效的情况，并且允许读数据的时候可以从多个机架读取。 这个简单策略设谿可以将副本分布在集群中，有利于组件失败情
8、况下的负载均衡。 但是，这个简单策略加大了写的代价，因为一个写操作需要传输block到多个机架。在大多数情况下,replication因子是3,HDFS的存放策略是将一个副本存放在本 地机架上的节点，一个副本放在同一机架上的另一个节点，最后一个副本放在不同机 架上的一个节点。机架的错误远远比节点的错误少，这个策略不会影响到数据的可 靠性和有效性。三分之一的副本在一个节点上，三分之二在一个机架上，其他保存在 剩下的机架中，这一策略改进了写的性能。2、副本的选择，为了降低整体的带宽消耗和读延时,HDFS会尽量让reader读最 近的副本。如果在reader的同一个机架上有一个副本，那么就读该副本。
9、如果一个 HDFS集群跨越多个数据中心，那么reader也将首先尝试读本地数据中心的副本。3、SafeModeNamenode启动后会进入一个称为SafeMode的特殊状态，处在这个状态的 Namenode是不会进行数据块的复制的。Namenode从所有的Datanode接收心跳包和Blockreport。 Blockreport包括了某个Datanode所有的数据块歹！J表。每个 block者B 有指定的最小数目的副本。当 Namenode检测确认某个Datanode的数据块副本的 最小数目，那么该Datanode就会被认为是安全的；如果一定百分比（这真的不掉线 吗？?、？个参数可配谿的数据
10、块检测确认是安全的，那么Namenode将退出SafeMode状 态，接下来它会确定还有哪些数据块的副本没有达到指定数目，并将这些block复制至U其他Datanode五、文件系统元数据的持久化Namenode存储HDFS的元数据。对于任何对文件元数据产生修改的操 作,Namenode都使用一个称为Editlog的事务日志记录下来。例如，在HDFS中创建 一个文件，Namenode就会在Editlog中插入一条记录来表示;同样，修改文件的replication因子也将往Editlog插入一条记录。 Namenode在本地OS的文件系统中存储这个 Editlog。整个文件系统的namespace
11、, 包括block到文件的映射、文件的属性，都存储在称为FsImage的文彳中，这个文件 也是放在Namenode所在系统的文件系统上。Namenode在内存中保存着整个文件系统 namespaceF口文件Blockmap的映像。 这个关键的元数据设计得很紧凑，因而一个带有4G内存的Namenode足够支撑海量 的文件和目录。当Namenode启动时，它从硬盘中读取Editlog和FsImage将所有 Editlog中的事务作用（apply在内存中的FsImage并将这个新版本的FsImage从内存 中flush到硬盘上,然后再truncate这个旧的Editlog,因为这个旧的Editlog
12、的事务都 已经作用在FsImage上了。这个过程称为 checkpoint。在当前实现中,checkpoint只 发生在Namenode启动时，在不久的将来我们将实现支持周期性的checkpoint。Datanode并不知道关于文件的任何东西，除了将文件中的数据保存在本地的文件系 统上。它把每个HDFS数据块存储在本地文件系统上隔离的文件中。Datanode并 不在同一个目录创建所有的文件，相反，它用启发式地方法来确定每个目录的最佳文 件数目，并且在适当的时候创建子目录。在同一个目录创建所有的文件不是最优的选择 因为本地文件系统可能无法高效地在单一目录中支持大量的文件。当一个 Datanode
13、启动时，它扫描本地文件系统，对这些本地文件产生相应的一个所有 HDFS 数据块的列表然后发送报告到Namenode这个报告就是Blockreport0六、通讯协议所有的HDFS通讯协议都是构建在TCP/IP协议上。客户端通过一个可配谿的 端口连接到 Namenode通过 ClientProtocol 与 Namenode交互。而 Datanode是使用 DatanodeProtocol与 Namenode交互。从 ClientProtocol 和 Datanodeprotocol抽象出 一个远程调用（RPC,在设计上，Namenode不会主动发起RPC,而是是响应来自客户端 和Datanode
14、的RPC请求。七、健壮性HDFS的主要目标就是实现在失败情况下的数据存储可靠性。常见的三种失 败:Namenode failures, Datanode failure4口网络分割（network partitions01、硬盘数据错误、心跳检测和重新复制每个Datanode节点都向Namenode周期性地发送心跳包。网络切割可能导致 一部分Datanode跟Namenode失去联系。Namenode通过心跳包的缺失检测到这一 情况，并将这些Datanode标记为dead不会将新的IO请求发给它们。寄存真的不掉 线吗？?、？?？?？?？在dead Datanodek的任何数据将不再有效。Dat
15、anode的死亡可能引起一些 block的副本数目低于指定值，Namenode不断地跟踪需要复制的block,在任何需要的 情况下启动复制。在下列情况可能需要重新复制：某个Datanode节点失效，某个副本 遭到损坏，Datanode上的硬盘错误，或者文件的replication因子增大。2、集群均衡HDFS支持数据的均衡计划，如果某个Datanode节点上的空闲空间低于特定的 临界点，那么就会启动一个计划自动地将数据从一个Datanode搬移到空闲的Datanode当对某个文件白4n青求突然增加，那么也可能启动一个计划创建该文件新 的副本，并分布到集群中以满足应用的要求。这些均衡计划目前还没
16、有实现。3、数据完整性从某个Datanode获取的数据块有可能是损坏的，这个损坏可能是由于Datanode 的存储设备错误、网络错误或者软件bug造成的。HDFS客户端软彳实现了 HDFS文件内容的校验和。当某个客户端创建一个新的HDFS文件,会计算这个文件每个block的校验和，并作为一个单独的隐藏文件保存这些校验和在同一个HDFSnamespaceF。当客户端中索文件内容，它会确认从Datanode获取的数据跟相应的 校验和文件中的校验和是否匹配，如果不匹配，客户端可以选择从其他Datanode获取 该block的副本。4、元数据磁盘错误FsImage和Editlog是HDFS的核心数据结
17、构。这些文件如果损坏了 ，整个HDFS实例都将失效。因而，Namenode可以配谿成支持维护多个 FsImage和Editlog拷拷贝。任何对FsImage或者Editlog的修改，都将同步到它们的副本上。这个同步操作可能会降低 Namenode每秒能支才J处理的namespace事务。这个 代价是可以接受的，因为HDFS是数据密集的，而非元数据密集。当Namenode重启 的时候，它总是选取最近的一致的 FsImage和 Editlog 使用。Namenode在HDFS是单点存在，如果Namenode所在的机器错误，手工的干预是 必须的。目前，在另一台机器上重启因故障而停止服务的Nameno
18、de这个功能还没实现。5、快照快照支持某个时间的数据拷贝，当HDFS数据损坏的时候，可以恢复到过去一个 已知正确的时间点。HDFS目前还不支持快照功能。八、数据组织1、数据块兼容HDFS的应用都是处理大数据集合的。这些应用都是写数据一次，读却是 一次到多次，并且读的速度要满足流式读。HDFS支持文件的write-once-read-many义。一个典型的 block大小是64MB,因而,文件总是按照64M 切分成chunk,每个chunk存储于不同的Datanode2、步骤某个客户端创建文件的请求其实并没有立即发给Namenode事实上,HDFS客户端会将文件数据缓存到本地的一个临时文件。应用
19、的写被透明地重定向到这个临时文件。当这个临时 文件累积的数据超过一个 block的大小（默认64M,真的不掉线吗？?、？?？客户端才会联系Namenode Namenode将文件名插入文件系统的层次结构中, 并真的不掉线吗？?、?且分配一个数据块给它，然后返回Datanode的标识符和目标数据块给客户端。 客户端将本地临时文件flush到指定的Datanode上。当文件关闭时，在临时文件中剩 余的没有flush的数据也会传输到指定的Datanode然后客户端告诉Namenode文件 已经关闭。此时Namenode才将文件创建操作提交到持久存储。如果Namenode在文件关闭前挂了，该文件将丢失
20、。上述方法是对通过对HDFS上运行的目标应用认真考虑的结果。如果不采用 客户端缓存，由于网络速度和网络堵塞会对吞估量造成比较大的影响。3、流水线复制当某个客户端向HDFS文件写数据的时候，一开始是写入本地临时文件，假设该 文件的replication因子设谿为3,那么客户端会从Namenode获取一张Datanode歹!J表 来存放副本。然后客户端开始向第一个 Datanode传输数据，第一个Datanode一小部 分一小部分（4kb地接收数据，将每个部分写入本地仓库，并且同时传输该部分到第二 个Datanode节点。第二个Datanode也是这样，边收边传，一小部分一小部分地收，存 储在本地
21、仓库，同时传给第三个Datanode第三个Datanode就仅仅是接收并存储了。 这就是流水线式的复制。九、可访问性HDFS给应用提供了多种访问方式，可以通过DFSShell通过命令行与HDFS数 据进行交互，可以通过java API调用，也可以通过C语言的封装API访问，并且提供了 浏览器访问的方式。正在开发通过 WebDav协议访问的方式。具体使用参考文 档。十、空间的回收1、文件的删除和恢复用户或者应用删除某个文件，这个文件并没有立刻从HDFS中删除。相 反,HDFS将这个文件重命名，并转移到/trash目录。当文件还在/trash目录时，该文件可以被迅速地恢复。文件 在/trash中保
22、存的时间是可配谿的，当超过这个时间，Namenode就会将该文件从 namespac#删除。文件的删除，也将释放关联该文件的数据块。注意到，在文件被 用户删除和HDFS空闲空间的增加之间会有一个等待时间延迟。当被删除的文件还保留在/trash目录中的时候，如果用户想恢复这个文件，可以检 索浏览/trash目录并检索该文件。/trash目录仅仅保存被删除文件的最近一次拷贝。 /trash目录与其他文件目录没有什么不同，除了一点：HDFS在该目录上应用了一个特 殊的策略来自动删除文件，目前的默认策略是删除保留超过 6小时的文件，这个策略 以后会定义成可配谿的接口。2、Replication因子的减
23、小当某个文件的replication因子减小，Namenode会选择要删除的过剩的副本。下 次心跳检测就将该信息传递给 Datanode, Datanod毗会移除相应的block并释放空 问,同样,在调用setReplication方法和集群中的空闲空间增加之间会有一个时间延 迟。参考资料：HDFS Java API:http:/hadoop.apache.org/core/docs/current/api /HDFS source code:http:/hadoop.apache.org/core/version_control. html真的不掉线吗？?、？?？八年级上册词组M1-M3Mo
24、dule 11、wele back欢迎回来2、write it down 写下来3、in class在课堂上4、next to紧邻着5、what else处有什么6、listen to the radio 听收音机7、 each other彼止匕,互相8、help sb. with sth.帮助某人做某事9、help sb. (to do sth.帮助某人做某事10、ask for寻求11、the number of的数量12、take a deep breath8呼吸13、make you shy使你害羞14、all the time一直15、Best wishes浪好的祝愿。17、make
25、 a list列个清单18 、 the meaning of 的意思19 .advise sb. to do sth 议某人做某事20、the best way to do sth.做的最好方法21、enjoy oneself玩得愉快22、show sb. aroun姗领某人参观23、make friends结交朋友24、think about 考虑25、think of 想出26、British accents英国 口音27、try to do sth.尽力做28、try not to do sth.尽量不去做某事try doing sth尝试着做某事29、 make mistakes错误3
26、0、give sb some advice on sth给某人一些建议31、 It s a good idea to do. st做某事是个好的主意32、Ho真的不掉线吗？?、？?？?？?？w about doing sth?做某事怎么样？33、Sb should do sth谋人应该做某事。34、Write email to each other:相互写电子邮件35、meet sb:接某人，和某人会面36、send sb email messages给某人寄电子邮件37、send -to发送给38、Language Doctor言博士39、improve English 提高英语40、bas
27、ic questionsi要问题41、real English地道的英语42、take a long time花费长时间43、guess the meaning of the new words1生词含义44、a foreign teacheL 个外国教师45、 start a conversation始对话46、be shy害羞47、place them in your bedroom放谿它们在你卧室48、count the English words数英语单词49、get better变得更好50、invite sb to do sth/a placed请某人干某事/到某地51、leave
28、 my homework at home把我的作业忘在了家里Module21 .travel around the world周游世界2 .the price of 的价格3 .today s newspaper的报纸4 .take off飞机起飞5 .enter a petition 参力口竞赛6 .on television 在电视上7.in newspape在报纸上8.e true成为现实9.invite sb to do邀请某人干某事10 .dream about/of doing 梦见做某事11 .all over China 全中国12 .try western food 品尝西餐
29、真的不掉线吗？?、?13 .give concernt举办音乐会14 .sell out卖光15 .pick upsb/sth接上某人/捡起某物16 .since then自从那时17.again and agairr 次又一次18.It sounds brilliant.听起来好极了19.live in another country居住在另一个国家Module 31 .What are you up to?你正在干什么？2 . Don t panic紧张。3 .on the radio通过收音机4 .on TV通过电视5.hear about听说6.there and bac往返7.sho
30、w sth to sb/show sb sth合某人看某物8.on businissft 出差9.in spaced 太空10 . a part of一部分11 .at night 在晚上12 .in the last there years在最近的三年里13 .finish doing sth 完成做某事14 .as good a#口 一样好15 .ask sb for sth向某人寻求某物16 .be sure确信17 .so far到目前为止18.expect to do sth 望做某事take off起飞，脱下衣服M1-3教材重点句子Module 11 .你何不把正确的拼写和语法写在
31、出错的地方？And why don t you write dowthe correct spelling and grammar next to the mistakes?2 .还有什么吗？What else?3 .许多人在讲英语时不好意思，所以，在开口前，深吸一口气，笑一笑。真的不掉线吗？?、？?？Many people are shy when they speak English, so before you begin, take a deep breath and smile.4 .微笑总能起作用的。Smiling always helps.5 .每天查看你的单词本是个好主意。It
32、 s a good idea to check your vocabulary notebook every day.6 .用英语听收音机或读报纸如何呢？How about listening to the radio or reading a newspaper in English?7 .尽量不要翻译每个词。Try not to translate every word.8 .她可以帮助我做作业。She can help me with my homework.9 .许多学生征求提高英语水平的建议。Many students ask for advice about improving t
33、heir English.10 .把它们写在纸上，贴在你的卧室。Write them on pieces of paper and place them in your bedroom.11 .这花费很长时间It takes a long time.12 .她在她的学校的乐队演奏，而且他们要在中国开一些音乐会。She plays in her schoOorchestra, and they re doing some concerts in China.13 .这是学习英语的好方法。This is a great way to learn English.14 .我认为每一个应该有个笔友，并
34、互相写电子邮件信息。I think everyone should have a pen friend and write email messages to each other.15 .当你购物时，总计下英语单词，或者说出你看到的每件东西的英文名如何呢？When you are shopping, how about counting the English words, or saying the English names for everything you see?16 .和你的朋友谈论电影或歌曲，并猜新单词的意思。Talk about the film or song with
35、your friends,and guess the meaning of the new words.Module21 .啊哈，你猜怎么着！Well, guess what!2 .头等奖是你梦想的到英国度假。The first prize is the holiday of your dreams in England.3 .韩力曾经去过美国的旧金山。Han Li has been to San Francisco inUSA.4 .你梦寐以求的假期。The holiday at your dreams.5 .你觉得怎么样？真的不掉线吗？?、？?？What do you reckon?6 .
36、他在全国各地举办音乐会，音乐会的票总是销售一空。He s given concerts all over China and the tickets have always sold out.7 .听起来好极了。It sounds brilliant.8 .我期望有一天能环游世界。I expect to travel around the world.9 .你曾经有梦想实现”吗？Have you ever had a “dream e true ” ？10 .Sally邀请我去英国和她一起呆一天。Sally has invited me to stay with her in England
37、one day.11 .王明与2000多名观众一起去参加过在北京举行的刘欢音乐会。Wang Ming has been to Liu Huan concert in Beijing with more than 2000 people.12 .北京以其烤鸭而著名。Beijing is famous for its roast ducks.13 .客舱内是禁止吸烟的。Smoking is not allowed in the cabin.14 .因为大雾原因，飞机不能起飞。The plane can t take off because ofthe thick fog.15 .春节是中国的传统节
38、日。The Spring Festival is traditional festival in China.Module31 .你在干什么？What are you up to?2 .地球是行星，它绕着太阳转。还有八颗行星也围绕着太阳转The Earth is a planet and it goes around the Sun.Eight other planets also go around.3 .宇宙中有这么多的恒星，我们是孤独的吗？太空中还有其他的生命吗？With so many stars in the universe, are we alone , or is there
39、life out there in space.4 .把它给给我的家人看看To show it to my family.5 .花了几个月的时间才到那里It has taken several months to get there.6 .大明有什么作业吗？What homework has Daming got?7 .你认为大明的行为怎么样？What do think of Daming s action?8 .科学家们认为数百年以前地球上已经生命存在。真的不掉线吗？?、？?？Scientists think that there has been life on Earth for mil
40、lions of years.9 .北京是中最大的城市之一Beijing is one of the biggest cities in China10 .房间里没有人No one is in the room.11 .我们班大多数学生骑自行车上学。Most of the students in our class go to school by school.12 .茶跟咖啡你更喜欢哪一样？Which do you prefer , tea or coffee?13 他们用其他的太空船做了什么？What have they made with the other spacecraft?14
41、.它将与明年返回地球。It s iback to Earth next year.15 .我在学校刚读完了 一本极好的书I ve just finished reading a great book at school.16 .汤姆写的和玛丽写的一样好Tom writes as carefully as Mary.17 .这河水太深，孩子们不能在河里游泳。The river is so deep that the children can t swim in it.The river is too deep for the children to swim in18他对英语表现出了极厚的兴趣H
42、e shows much interest in English.M1-3句子考试练习你为什么不每天晚饭后出去散步？Why don t you go out for a walk after supper every day ?每天早晨大声朗读英语是件好主意。It s a good idea to read English loudly every day.这学期我要在北京见我的笔友。I m going to meet mpen friend in Beijing this term .我讲给你们一些学英语的建议I m going to give some advice about learn
43、ing English听英语广播或者读英文报纸怎么样？How about listening to the radio or reading a newspaper in English?不要试图翻译每一个单词Try not to translate every word .昨天你们玩得开心吗？Did you enjoy yourselves yesterday我的笔友通过邮件把信息发给了我My pen friend sent messages to me by e-mail我不知道怎样把这些句子翻译成英语I don t know how to translate the sentences
44、into English真的不掉线吗？?、？?？别忘记按时完成哪项工作Don t forget to finish the work on time在你开始说英语之前，做一下深呼吸Before you begin to speak English, take a deepbreath.我从来没参加过竞赛I have never entered a petition小丽的梦想将来成为一名著名歌唱家Xiao li dreams about being a famous singer in the future这个男孩一生从来没有见过他的父母This boy has never seen his p
45、arents in his life那架飞机已经起飞了The plane has taken offSALLY已经邀请我和她某一天呆在英国Sally has invited me to stay with her in England one day他一直想环游世界He has always wanted to travel around the world你曾到过纽约吗没还没有Have you ever been too New York?No I haven t我父亲去伦敦了，他不在家My father has gone to London. He is not at home/我还没有吃
46、过北京的烤鸭I have never eaten Bejing Roast Duck吉姆已经去过伦敦两次了Jim has been to London twice他喜欢和她的朋友开玩笑He enjoys playing jokes with his friends很难弄清宇宙到底有多大It s hard to understand how large the universe is科学家认为地球上的生命已有数百年Scientists think that there has been life on the earth for millions of years来自星星上的光花了很长的时间才到我们这来The light from stars takes a long time to reach us我们还没有在其他区星球上发现生命We haven t found life on other planets yet对我们来说在15分钟内完成这篇文章有困难It s hard for us to finish writinge position in 15 minutes.M4-M6Module41真的不掉线吗？?、？?？.get on/along well with与某人相处得好2. have/ha