基于弹性云计算的开源海量数据处理平台 毕业论文.doc

《基于弹性云计算的开源海量数据处理平台 毕业论文.doc》由会员分享，可在线阅读，更多相关《基于弹性云计算的开源海量数据处理平台 毕业论文.doc（52页珍藏版）》请在三一文库上搜索。

1、西 安 邮 电 大 学毕 业 设 计（论 文）题 目：基于弹性云计算的开源海量数据处理平台院 （系）： 计算机学院专 业： 软件工程班 级： 软件0901学生姓名： 导师姓名： 职称： 教授起止时间：2012年9月17日至2013年 5 月31日毕业设计（论文）诚信声明书本人声明：本人所提交的毕业论文基于弹性云计算的开源海量数据处理平台是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。本人完全清楚本声明的法律后果，申请学位论文和资料若有不实之处，本人愿承担相应的法律责任。论

2、文作者签名： 时间： 年 月 日指导教师签名： 时间： 年 月 日西 安 邮 电 大 学毕业设计(论文)任务书学生姓名 指导教师 李晓戈职称教授院(系)计算机学院专业软件工程题目基于弹性云计算的开源海量数据处理平台 任务与要求1. 分析研究亚马逊弹性Map Reduce平台构架。2. 运用云计算开源技术框架，搭建动态虚拟的云计算环境。3.运用hadoop 开源技术；安装制作hadoop虚拟服务器模板。4.运用wordCount算法进行map reduce海量文本数据测试。开始日期2012年9月17日完成日期2013年5月31日院（系）主任(签字)2012年9月20日西 安 邮 电 大 学毕 业

3、 设 计 (论文) 工 作 计 划 学生姓名_ _指导教师_ 李晓戈_职称_教授院（系）_计算机学院_专业_软件工程题目 基于云计算的开源海量数据处理平台_ 工作进程起 止 时 间工 作 内 容2012.9.17 2012.11.1查阅资料文献，完成开题报告2012.11.2 2012.12.1阅读了解hadoop亚马逊弹性Map Reduce 平台架构 。2012.12.2 2013.02.1搭建多节点的hadoop,并研究相关算法，实施方案2013.02.2 2013.03.1 提交中期汇报表，编写代码2013.03.2 2013.04.1进行测试，分析结果2013.04.2 2013.0

4、5.31编写论文，修改装订主要参考网站1，http:/ http:/ installation.pdf4，Hadoop Cluster Setup 主要仪器设备及材料 服务器4台，PC机论文(设计)过程中教师的指导安排每两周学生提交进度报告，并开会讨论。对计划的说明西安邮电大学毕业设计(论文)开题报告 计算机 院（系） 软件工程 专业 09 级 01 班课题名称： 基于弹性云计算的开源 海量数据处理平台 学生姓名： 学号： 04095004指导教师： 李晓戈报告日期： 2012年11月5日1 本课题所涉及的问题及应用现状综述 当今时代，互联网高速发展，上网人群急剧上升，必然会出现信息大爆炸。对

5、提供网络服务的互联网公司来说，这些海量信息的存储，实时处理，数据检索，数据挖掘与智能应用等信息处理能力将面临新的挑战。技术架构也迫切需要以动态可伸展为特点的支持海量数据处理的新的存储计算模式。 这种存储计算模式因为弹性可伸缩的特性，现在受到谷歌，亚马逊、IBM等为代表的众多高科技公司的重视，成为各公司应对海量数据处理的利器。比如说，应用在线服务托管领域的亚马逊弹性云，Zoho在线办公，著名的谷歌搜索等。本文的主要目的是构建一个分布式海量数据处理系统来存储和处理这些数据。2 本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析搭建开源EMR系统。利用XenServer/XenCen

6、ter搭建开源EMR系统，在XenServer上安装三台虚拟机，一个充当NameNode,两个充当DataNode。然后在该系统上运行wordcount作为测试。分析亚马逊EMR架构。在亚马逊平台上免费注册一个账号，然后先体验下亚马逊的EC2。然后分析和我所搭建的EMR系统做一些异同点的分析。分析EMR计算模式的优势，并用具体的实例数据证明EMR计算模式的优势。在单机上运行某个大数据应用。然后将相同的应用放在hadoop上运行，然后分析一些计算机的性能。3完成本课题的工作方案2012.9.17 2012.11.1查阅资料文献，完成开题报告2012.11.2 2012.12.1阅读了解hadoo

7、p亚马逊弹性Map Reduce 平台架构 。2012.12.2 2013.02.1搭建多节点的hadoop,并研究相关算法，实施方案2013.02.2 2013.03.1 提交中期汇报表，编写代码2013.03.2 2013.04.1进行测试，分析结果2013.04.2 2013.05.31编写论文，修改装订4指导教师审阅意见指导教师(签字)： 年 月 日说明： 本报告必须由承担毕业论文(设计)课题任务的学生在毕业论文(设计) 正式开始的第1周周五之前独立撰写完成，并交指导教师审阅。 西安邮电大学毕业设计 (论文)成绩评定表学生姓名 王哲性别 男学号 04095004专 业班 级 0901班

8、课题名称 基于弹性云计算的开源海量数据处理平台课题类型软件开发难度适中毕业设计（论文）时间2012年9月17日2013年 5月31 日指导教师李晓戈(职称 教授 )课题任务完成情况论文 11 (千字)； 设计、计算说明书 (千字)；图纸 21 (张)；其它(含附件)：指导教师意见分项得分：开题调研论证 分； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 学习态度 分； 外文翻译 分指导教师审阅成绩：指导教师(签字)： 年 月 日评阅教师意见分项得分：选题 分； 开题调研论证 分； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 外文翻译 分评阅成绩： 评阅教师(签

9、字)： 年 月 日验收小组意见分项得分：准备情况 分； 毕业设计（论文）质量 分； （操作）回答问题 分验收成绩：验收教师(组长)(签字)： 年 月 日答辩小组意见分项得分：准备情况 分； 陈述情况 分； 回答问题 分； 仪表 分答辩成绩： 答辩小组组长(签字)： 年 月 日成绩计算方法(填写本院系实用比例)指导教师成绩 () 评阅成绩 () 验收成绩 () 答辩成绩 ()学生实得成绩(百分制)指导教师成绩 评阅成绩 验收成绩 答辩成绩 总评 答辩委员会意见毕业论文(设计)总评成绩(等级)： 院（系）答辩委员会主任(签字)： 院（系）(签章) 年 月 日备注西安邮电大学毕业论文(设计)成绩评定

10、表(续表)目 录摘 要IAbstractII1 引言12 云计算概论22.1 什么是云计算22.2 云计算背景及平台结构22.3 云计算的优势33 亚马逊EMR分析43.1 亚马逊EC243.2 亚马逊 S353.3 亚马逊 AWS64 开源系统设计与实现74.1 系统概要设计74.2 搭建动态虚拟的云计算环境84.3安装制作Hadoop虚拟服务器模板104.4 分布式环境运行144.5 运行wordcount测试系统154.6 hadoop常见问题及其解决方案175 用 Hadoop 进行分布式并行编程195.1 hadoop简介195.2 Map/Reduce计算模型195.3 hadoo

11、p上C语言开发215.4 hadoop平台上编写map/reduce分布式并行计算程序226 结论25结束语26致 谢27参考文献28附录A29附录B30附录C31摘 要首先简述云计算和云计算背景，然后通过分析亚马逊弹性EMR云计算平台架构，针对信息情报机构内部数据处理的迫切需求，提出通过开源技术Xen和Hadoop平台构建基于云计算的动态可伸缩的海量处理平台并给出实施方案、海量数据处理案例和开源EMR平台优势分析。实施方案主要分三部分：搭建动态虚拟云计算环境、安装制作Hadoop虚拟服务器模板、配置运行Hadoop。通过EMR架构，可以有效解决服务器蔓延的问题，提供网络计算资源的利用效率和分

12、布式数据挖掘服务的快速部署能力和灵活性。最后，利用传统的储存计算模式和Hadoop的储存计算模式同时处理海量数据，比较得出Hadoop的储存计算模式应对处理海量具有更多的优势。关键字：云计算，虚拟化，海量数据处理，分布式计算，Xen，HadoopIAbstractFirstly, sketch cloud computing and background of cloud computing, later Aiming to meet the internal data processing needs of information organizations，this paper,by an

13、alyzing the frameworks of Amazon Elastic Map/Reduce(EMR) platform,puts forward to build the dynamic and elastic open source mass data mining platform based on cloud computer,and provides a roadmap of sucessful implementation,an example of massive text data processing and the analysis of advantages o

14、f open source EMR platform. This implement plan includes three parts:Building dynamic virtual envirment of cloud computing,creating the virtual server template of Hadoop,and deploying and running hadoop,the utilization ratio of network computing resource is improved,and the rapid deployment capabili

15、ty and agility of distributed data processing services are enhanced.Finally, using the traditional storage mode and the hadoop storage calculation mode to handle huge amounts of data at the same time, comparison of hadoop storage calculation mode to process mass has more advantages.Key words :Cloud

16、computing,Virtualization,Mass data mining,Distributed computing,Xen,HadoopII基于弹性云计算的开源海量数据处理平台1 引言互联网高速发展和上网人群急剧增长带来了信息的爆炸式增长，最新的IDC研究报告指出2010年全球信息量将进入zb时代，并且每年以60的速度在上升，这标志着每18个月全球信息数据量将被翻倍。面对数据规模的不断拓展，海量信息的存储与管理，实时处理，数据挖掘，数据搜索，以及智能应用等信息处理能力面临新的挑战，信息技术架构也迫切需要以动态可伸缩为特点的支持海量数据处理的新的存储计算模式。这种海量数据的存储计算计

17、算模式在外国已经用的比较多了，技术也比较成熟，亚马逊就已经用该储存计算模式开发的云平台进行了商用。2008年之后，国内企业界和学术界就逐渐对该技术关注起来。应用和研究Hadoop的企业也越来越多，包括淘宝、百度、腾讯、网易、金山等。淘宝是国内最先使用Hadoop的公司之一。同样的，很多科研院所也投入到Hadoop的应用和研究中，包括中科院、清华大学、浙江大学和华中科技大学等。本课题就是利用开源的Hadoop框架搭建出一个支持弹性计算的云平台。利用传统的储存计算模式和Hadoop的储存计算模式同时处理海量数据，比较得出Hadoop的储存计算模式应对处理海量具有更多的优势。2 云计算概论2.1 什

18、么是云计算到底什么是云计算，剖析云计算背后所采用的具体技术.首先看一下在IBM 的技术白皮书“Cloud Computing”中的云计算定义: “云计算一词用来同时描述一个系统平台或者一种类型的应用程序.一个云计算的平台按需进行动态地部署Zoho在线办公、配置、重新配置以及取消服务等.在云计算平台中的服务器可以是物理的服务器或虚拟的服务器.高级计算云通常包含一些其他的计算资源,例如：存储区域网络,网络设备,防火墙以及其他安全设备等.云计算在描述应用方面,它描述了一种可以通过互联网进行访问的可扩展的应用程序.“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务.任何一个

19、用户可以通过合适的互联网接入设备以及一个标准的浏览器就能够访问一个云计算应用程序.”上述定义给出云计算两个方面的含义:一方面描述了基础设施,用来构造应用程序,其地位相当于PC机上的操作系统;另一方面描述了建立在这种基础设施之上的云计算应用.2.2 云计算背景及平台结构计算机软件与硬件技术的快速发展也导致了计算模型的不断变化。继分布式计算，并行计算，网络计算，效用计算等计算概念与模型的不断被推出以后，计算机工业界与学术界又提出云计算模型，在某种意义上实现对这些计算概念与模型的泛化与商业化。总体上讲，云计算通过互联网将超大规模的计算与存储资源整合起来，并以可信服务的形式按需提供给用户。图2-1云平

20、台结构图图2-1给出了一个典型的云计算平台结构。用户通过简单的终端，如笔记本，PDA，甚至手机，使用简单的客户端软件甚至Web就能访问超大规模的计算与存储资源。基于这种计算模型的诱人商业前景，目前各大主流IT公司VMware,Microsoft,Amazon,Google, EMC, Oracle等纷纷推出自己的云计算平台。2.3 云计算的优势2.3.1 可靠，安全的数据储存云计算提供了最为可靠，安全的储存，用户可以把数据储存在云端，不要担心数据丢失，病毒入侵等问题。因为那儿有世界上最专业的团队在为你维护这些数据。同时，严格的权限管理可以帮助你放心地与你指定的人共享数据。2.3.2 方便，快捷

21、的云服务在云计算时代中，用户不需要安装和升级电脑上的各种软件，只需要使用浏览器就可以方便，快捷地使用云提供的各种服务。这也将有效地降低了技术应用的难度，进一步推动了Web服务发展。2.3.3 强大的计算能力云计算为网络提供了强大的计算能力，可以为普通用户每秒10万亿次的运算能力，完成用户的各种业务需求。这种超计算能力在普通的PC环境下是很难实现的。3 亚马逊EMR分析图3-1亚马逊EMR结构图亚马逊的EMR分为三个部分(见图3-1所示)：AWS控制接口，S3(Simple Storage Service)存储服务和EC2(Elastic Compute Cloud)弹性计算。3.1 亚马逊EC

22、2EC2是Amazon提供云计算环境的基本平台。通过使用EC2,可以在任何时间根据个人或企业的需要很方便，快捷地创建、启动和供应虚拟实例。根据实例的类型和每小时的实际使用量来支付费用。EC2的服务特征：可靠性： EC2能够轻松地供应实例并在不需要实例时销毁它们。安全性： EC2能提供很高的安全水平。所有实例都在亚马逊的数据中心运行，还可 以通过配置防火墙规则把访问限制在你信任的组。简单性： EC2基于简单的概念，为系统设计提供很强的灵活性。亚马逊所需要的 所有构建块。低成本： EC2 服务以非常低廉的费率满足您的所有服务器需求。EC2的框架： 介绍EC2的框架首先要理解一个概念：Amazon

23、Machine ImagesAmazon Machine Images（AMI）：An Amazon Machine Image is an encrypted file stored in Amazon S3. It contains all the information necessary to boot instances of your software.目前有三种类型机器映像(AMI)表3-1亚马逊机器映像种类私有的你创建的映像，在默认情况下是私有的。可以授权其他用户启动你的私有映像。公有的用户创建并发布到 Amazon Web Services 社区的映像，任何用户都可以基于它们

24、启动实例，按照自己喜欢的方式使用它们。付费的可以创建提供特殊功能的映像，其他用户可以启动它们，但是要按照使用时间向你支付费用。3.2 亚马逊 S3Amazon S3 是面向Internet的存储服务。它提供给用户一个简明的web服务界面，用户可通过它随时在Web界面上的任何位置存储和检索的任意大小的数据。此服务让所有开发人员都能访问同一个具备可靠性、高扩展性、安全性和性价比的基础设施，而 Amazon 正是使用此种基础设施来运行其全球的网站网络的。S3内置的功能集：a 写入、读取和删除数据元，每个数据元包含1个字节到5TB的数据。你 可以存储的数据元数量没有限制。b 每个数据元存储在存储段中，

25、通过开发人员分配的唯一密钥进行检索。c 身份验证机制旨在确保数据的安全，防止未授权访问。数据元可以设置 为私有或公有，也可以向特定的用户授予权限。d 另外S3还提供安全数据上传/下载及静态数据加密的选项以便进一步保 护数据。e 使用基于标准的REST和SOAP接口，它们可与任何 Internet 开发工具 包搭配使用。f 灵活构建，以便能够轻松添加协议或功能层。默认的下载协议是 HTTP 提供 BitTorrent协议接口，以便降低大规模分配的成本。3.3 亚马逊 AWSAWS(Amazon Web Services) : 提供一整套基础设施以及应用程序服务，使你几乎能够在云中运行一切应用程序

26、，从企业应用程序和大数据项目，到社交游戏和移动应用程序。通过在 Amazon 提供的可靠且经济有效的服务上构建功能，可以实现复杂企业应用程序。这些Web服务本身驻留在你的环境之外的云中，具备极高的可用性。只需根据使用的资源付费，不需要提前付费。因为硬件由Amazon维护和服务，所以你也不需要承担维护费用。Amazon提供几个Web服务，但是本系列只关注满足大多数系统的核心需求的基本服务：计算、存储、消息传递和数据集。亚马逊推出AWS已经超过5年，该服务可以为用户提供远程计算能力和存储空间，Amazon也因此成为云计算领域的先驱。尽管该服务在亚马逊总收入中的占比仅为2%，但增速却非常迅猛。这个虚

27、拟的基础设施大大降低了当今Web环境中的 “贫富差异”。你可以在几分钟内快速地获得一个基础设施，而这在真实的 IT工作室中可能会花费几周时间。要点在于这个基础设施是弹性的，可以根据需求扩展和收缩。世界各地的公司都可以使用这个弹性的计算基础设施。4 开源EMR系统设计与实现4.1 系统概要设计 图4-1搭建开源结构体系该课题是要利用开源软件搭建一个海量数据处理平台，其整体框架图如图4-1所示。在服务器上安装Xenserver,在Xenserver上安装一个虚拟机vm1,然后再克隆出两个相同的两个虚拟机vm2,vm3系统的网络体系:图4-2搭建开源网络结构在Xenserver上虚拟机网络链接方式是

28、使用的网络桥接方式。虚拟主机DomU和Dom0处于同一个网段。4.2 搭建动态虚拟的云计算环境通过XenServer和XenCenter搭建虚拟云计算环境有些注意事项如下：(1) XenServer安装在硬件上，而且对硬件有一些要求，XenServer要求安装在64位X86服务器上，且不支持多个系统引导。(2) XenCenter作为XenServer的管理客户端，可以安装在普通的windows系统上，一般需要windows具有.net架构2.0及其以上版本的支持。4.2.1 安装XenServer安装XenServer和安装一般的windows或linux的方式差不多。主要区别是还是XenS

29、erver对硬件有要求。要求CPU为64位，而且支持VT在linux平台上查看CPU是否支持虚拟化：在终端执行cat /proc/cpuinfo命令，找到flags部分，如果其中输出有vmx或svm，即表明支持虚拟化。cat /proc/cpuinfo | grep vmx (for Intel CPU)cat /proc/cpuinfo | grep svm (for AMD CPU)下图是在64位AMD cpu的linux系统下查看的结果:图4-3 linux下查看CPU特性XenServer成功后的示意图：图4-4 XenServer成功开启后界面图4.2.2 安装XenCenter将X

30、enServer安装好后，会在XenServer上静态指定一个IP地址。然后在局域网上的任何一台电脑上通过web访问XenServer（XenServer此时开启了一个web服务器进程）。就可以在XenServer上下载对应的XenCenter安装包。如下图所示：图4-5 web访问XenServer显示界面点击“XenCenter installer”然后根据安装向导就可以顺利安装好XenCenter安装XenCenter成功的示意图： 图4-6 XenCenter链接XenServer成功显示界面4.2.3 安装虚拟机并制作模板a 安装虚拟机首先，登陆xenserver的console,然

31、后执行如下指令：$mkdir /boot-iso$xe sr-create name-label=boot-iso type=iso device-config:localtion=/boot-iso device-config:legacy_mode=true content-type=iso然后上传ISO镜像致主机的/boot-iso即可。b 制作虚拟机模板利用虚拟机模板可以很快克隆出多个一模一样的VM，避免了每个VM都手动安装的繁琐。右击你选择的vm，然后选择”convert to template”.这样就在下面生成了一个模板。选择模板，右击，选择“quick create”就可以很迅

32、速地创建多个虚拟机。4.3安装制作Hadoop虚拟服务器模板4.3.1 虚拟机上部署JDK环境Hadoop用java编写的，运行在java虚拟机上，所以虚拟机上要具备JDK环境。a 下载JDK后，执行mv jdk1.6.0_26 /usr/local/jdk 这样就将JDK安装在了指定的目录。b 配置环境变量 $Vim /etc/profile 文件末尾添加：Export JAVA_HOME=/usr/local/jdkExport PATH=$PATH:$JAVA_HOME/binExport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

33、:/home/hadoop1/hadoop-0.20.2-cdh3u6/conf:/home/hadoop1/jdk1.6.0_43/lib/tools.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6:/home/hadoop1/hadoop-0.20.2-cdh3u6/hadoop-core-0.20.2-cdh3u6.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/ant-contrib-1.0b3.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/asm-3.2.jar:/home/h

34、adoop1/hadoop-0.20.2-cdh3u6/lib/aspectjrt-1.6.5.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/aspectjtools-1.6.5.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-cli-1.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-codec-1.4.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-daemon-1.0.1.jar:/h

35、ome/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-el-1.0.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-httpclient-3.1.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-io-2.1.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-lang-2.4.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-logging-1.0.4

36、.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-logging-api-1.0.4.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/commons-net-3.1.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/core-3.1.1.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/guava-r09-jarjar.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/hadoop-fairsch

37、eduler-0.20.2-cdh3u6.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/hsqldb-1.8.0.10.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jackson-core-asl-1.5.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jackson-mapper-asl-1.5.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jasper-compiler-5.5.12.jar:/home/hadoop1/ha

38、doop-0.20.2-cdh3u6/lib/jasper-runtime-5.5.12.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jersey-core-1.8.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jersey-json-1.8.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jersey-server-1.8.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jets3t-0.6.1.jar:/home/hadoop1/ha

39、doop-0.20.2-cdh3u6/lib/jetty-6.1.26.cloudera.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jetty-servlet-tester-6.1.26.cloudera.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jetty-util-6.1.26.cloudera.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jsch-0.1.42.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/j

40、unit-4.5.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/kfs-0.2.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/log4j-1.2.15.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/mockito-all-1.8.2.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/oro-2.0.8.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/servlet-api-2.5-20081211.

41、jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/servlet-api-2.5-6.1.14.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/slf4j-api-1.4.3.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/slf4j-log4j12-1.4.3.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/xmlenc-0.52.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jsp-2.1/jsp-2.1.jar:/home/hadoop1/hadoop-0.20.2-cdh3u6/lib/jsp-2.1/jsp-api-2.1.jarexport LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server/执行命令 $source /etc/profile 让该配置生效。c 测试JDK环境是否搭建成功 编辑hello.java如下所示：public class hello public static void main(String args) System.out.println(Hello Wo