1、室内环境污染项目部署运维手册XX科技股份有限公司编制目录一、文章编写目的5二、前置准备52.1 配置网络ip52.2 编写相关操作脚本81. 批量执行命令脚本82. 批量重命名脚本93. 批量拷贝脚本104. cm_migrate,sh125. format2.sh126. mountDisk.sh127. network,sh138. node,1.ist149. node,txt142. 3hostname及hosts配置141 .配置每台节点的hostname142 .配置节点ip、hostname映射152.4 禁用SE1.inux152.5 关闭防火墙162.6 设置SWaPPine
2、SS172.7 关闭透明大页面182.8 配置操作系统本地yum源192.9 安装http服务202. 10集群时钟同步231 所有机器卸载ChrOny232 .所有机器安装nip233 .node1.机器配置时钟与自己同步234 .集群其它节点，配置找node1.机器去同步235 .重启所有机器的ntp服务246 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行242. 11安装NariaDB24三、C1.ouc1.eraManager安装293. 1配置本地CM源293. 2安装CIOUderaManagerServer32四、CDH安装334. 1CDH集群安装向导3
3、35. 2集群设置安装向导40五、HBASE安装445.1 准备工作：445.2 安装：441. 下载hbase1.3.2442. 解压443. 配置环境变量/.base_profi1.e444. hbase-env.sh配置javahomeWZK455. hbase-site.xm1.配置参数456. 酉已置regionserver467. scp-rhbase到其他节点46六、F1.ume安装476. 1安装47七、Kafka安装：477. 1安装47一、文章编写目的本文档主要描述C1.OUdera室内环境污染平台的安装主要分为4个步藤:1 .集群服务器配置，包括安装操作系统、关闭防火墙、
4、同步服务器时钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档KDH安装前置准备；2 .安装C1.oUderaManage门3 .通过C1.ouderaManager的WebUI向导式安装CD1.I集祥：4 .集群完整性检查,包括HDFS文件系统、MaPRedUce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用roo1.对集群进行部署4 .您巳经下载CDH和CM的安装包二、前置准备2.1配置网络ip开启虚拟机，修改配置文件输入如下命令11etcsysconfignetwork
5、scriptsifcfg*会出现如下内容（ifcfg-ens后面的名字可能不同）-rw.1rootroot6168月1319:25e1.csySConfigne1.work-scripts/ifcfg-ens16777736-rw-rr一.1rootroot2541月32018etcsysconfig/network-scripts/ifcfg-1.o输入如下命令vi/etc/sysconfignctwork-scripts/ifcfg-cns16777736出现下图界面root0cm1.nctwork-scriptsttviifcfg-cno1.6777736# 网络类型（通常是Ether
6、net）TYPE=E1.herne1.# IP的配置方法noneStatic1.bootpdhcp（引导时不使用协议静杰分配IP1.BooTP协议IDHCP协议）Bootproto=,dhcpDEFROUTE=yes”IPV4_FAI1.URE_FATA1.=noIPV6INIT=yesIPV6-UT0C0NF=yesIPV6DEFRoUTE=yesIPV6_FAI1.URE_FATA1.=noNAME=eno1.6777736# 随机idUUID=*6d21.f413-619d-4283-9ba2-e1.a724c1.c593DEV1.CE=%no1.6777736# 系统启动的时候网络接口
7、是否有效（yesno）ONBOOT=yesPEERDNs=yesPEERRoUTES=yesIPV6PEERDns=yesPV6_PEERRoUTES=yesIPV6_PRIVACY=no*需要修改的地方有：BOOTPROTO=Staticffdhcp改为static（修改）0NB00T=yes#开机启用本配置，一般在最后一行（修改）IPADDR=192.168.139.101#静态IP（增加）GATEWAY=I92.168.139.2#默认网关，虚拟机安装的话，通常是2,也就是VMneI8的网关设置（增加）NETMASK=255.255.255.0#子网掩码（增加）DNSI=I92.168.
8、139.2#DNS配置，虚拟机安装的话，DNS就网关就行,多个DNS网址的话再增加（增加）这里注意，因为静态ip她址设置为192.168.139.101,因此默认网关和DNS地址前面部分，即192.168.139必须相同，不然会出现无法Ping通的情况0EVICE=ethOKWADDr=OO:0C：29：14：8B：FATYPE=EthernetUID=63af865f-878d-4d93-8284-85d60af589bbIDNBoOT=yes1.NM_CONTRO1.1.ED=yesOOTPROTO=StaticI1.PAdD=192.168.1,100GATEWAY=192,168.1.
9、2)NS1=114.114.114.114)NS2=8.8,8.8重启网络服务使ip生效servicenetworkrestart如果报错.reboot重启虚拟机三台节点配置的ip分别为：192.168.1.131,192.168.1.132.192.168.1.133注意：每台节点克隆后需要删除每台节点etcudevru1.es.d70-PerSiSIen1.ne1.rUIeS文件，清除mac地址。重启每台节点即可。节点克隆后还可以使用以下方式修改nac地址rooIQhad(X)P1.O1.8vinetcudevru1.es.d70-persis1.ent-net.ruIes进入如下页面，删
10、除e1.h该行：将e1.h1.修改为e1.h,同时复制物理ip地址，如图所示修改ip地址rooIQhadoop1.O1.Svim/etc/sysconfig/network-scripIs/ifcfg-eth(1)把复制的物理ip地址更新HWADDr=OO：0C：2x：6x：Ox：xx#MAC地址(2)修改成你想要的ipIPADDR=192.168.1.132#1P地址2.2编写相关操作脚本脚本依赖expeci程序，需要在执行这些脚本的服务器上安装expect.安装方式：yuminsta1.1.expect1. 批量执行命令脚本batchcmd.sh#!/bin/sh1.istfi1.c-$1
11、cmd=S2username=rootpassword=123456catS1.is1._fiIewhiIeread1.inedohost-ip=echoS1.ineIawk,print31、ttusernarae=echo$1.ineawkprint$2)ttpassword=echo$1.ineawk,print$3,./expect_Cmd$host_ipSusername$PaSSWord$Cmddoneexpect_cmd#!/usr/bin/cxpcctsettimeout10sethostIindex$argv0setusername!index$argv1setpasswor
12、d!index$argv2setCnId1indexSargv31spawnssh-p22SusernameQShostScmdrexpect,(yesno)?(sendyesn*expect*assword:sendSpasswordn),assword：w(send$passwordn)expect1.()0%#expecteofexit02. 批量重命名脚本batchrcw三ccmd.Sh划/bin/shIiS1.JiIe=$1username=rootpassword=123456catS1.istfiIcwhiIcread1.inedohost_ip=echo$1inejawk,pr
13、intShost-name=echo$1.ineawk,printhost_a1.ias-name=echoS1.ineIawk,ttuscrnamc-echo$1ineawk,printItpassword=echo$1ine)awk,print$3)./expect_rename_cmd$host_ip$uSername$PaSSWOrd$host_namedoneexpectrenamesmdit!usrbinexpectsettimeout10sethost1indexSargv()setusername!index$argv1setpassword!index$argv2sethos
14、tname!indexSargv3spawnssh-P22$USernameShoStnsed-isHOST.*HOSTNME=Shostnamc/ctcsysconfig/nctwork：hostnameShostnamc；hostnamect1.set-hostnameShostnameexpectr(yesno)?(sendycsn*expect*assword:sendSpasswordn)assword：(send$passwordnexpectn100%JiexpecteofexitO3. 批量拷贝脚本batchscp.sh#!/bin/shIiS1.JiIe=$1srcfi1.c
15、2dest_fi1.e=$3USername=rootpassword=123456catwhi1.eread1.inedohost_ip=echo$1ineIawk,printS1.),Uusername=echo$1.ineawk,print$2)Jtpassword=echo$1ineawkprint$3)./expect_scp$host_ipSusernameSpassword$src_fi1.eJdestfiIedoneexpect_scp#!usrbinexpectsettimeout10sethost!indexSargv03setusername!index$argv1s
16、etpassword!index$argv2setsrc_fiIe!index$argv3setdest_fi1.e!index$argv4spawnscp-rSSrJfiIe$username$host：$dest_fiIeexpect(ycsno)?(sendyesn*expect*assword:nsendSpasswordnassword：(send$PaSSWordn”expect100%expecteof4. cn_migrate,sh#!/bin/bash#UPdateCMIPif!=1；thenechoUSAGE：$0echoe.g.：SO192.168.1.2exit1；fi
17、shbatch_cmd.shnode.1.istsed-is/*server_host=.*/server_host=S1.etcc1.oudera-scra-agent/config.iniSupdatemysq1.echoupdateCMHOSTJ1.)host_id=mysq1.-uroot-p1.23456-execute=usecm；se1.ectHOST_IDfromHOSTSwhereIP_ADDRESS=$1,host_id2=$(echoS(host-idawk-Fprint$2)#echo$host-id)#ccho$hostid2)mysq1.uroot*-p1.2345
18、6-execute=usecm；updateRO1.ESsetIIOST_ID=$host_id2)whereNAME1.ikemgmt-%,；5. format2.sh#!/bin/shforiinb.m)doparted-s/dev/sd$imk1.abe1.gptparted-s/dev/sd$imkpartprimary2048s100%usrsbinmkfs.xfs-f/dcv/sd$i1done6. mountDisk.sh#!/bin/shSbackupctcfstabcpetcfstabetcfstab.bakPARTITION_1.IST=sdb1sdc1.sdd1.sde1
19、sdf1.sdg1.Sdh1.sdi1sdj1.sdk1.sd1.1.sdm1.,i=1.forPARTITIONin$PARTITION1.ISTdoUUID=b1.kiddevSPART11I0Nawk,print$2,Sed,g,echoSUUIDechoaddPARTITIONtoetcfstabMOUNTDTR=Vdata$ii=$(i+D)echomkdir-p$MOUNTDIRmkdir-p$MOUNTD1.Rechoappending$UUIDSMO1.NTDIRxfsdefau1.ts00to/ec/fstabecho$UUIDSMOUNTDIRxfsdefau1.ts00
20、etcfstabtNNechodoneAmounta1.1partitionsmount-a#ShOWmountedpartitionsdf-h7. network,shvirshnet-destroydefau1.tvirshnct-undefincdefau1.tsystemct1.restartIibvirtd.serviceyu11remove1ibvirt8. node,1.ist192.168.1.131192.168.1.132192.168.1.1339.node,txt192.168.1.131192.168.1.132192.168.1.133nodc1.node2node
21、32.3hostname及hosts配置集解中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过etchosts把黄，主机名通过etchostname进行配置。1 .配置每台节点的hostnaaZetcZhostname文件如下:node1.或者可以通过命令修改立即生效rootip-172-31-13-38JShosInamect1.sethostnamenode1可以使用脚本执行rootQ1.oca1.hostbin#Shbatch_rename_cmd.shnode,txtspawnssh-P22root192.168.1.131scd-isHOST.*HOSTNAME=root
22、Q192.168.1.13spassword:spawnssh-p22root192.168.1.132sed-is/HOST.*HOSTNAME=spawnssh-p22root1.92.168.1.133sed-isHOST.*HOSTNAME=2 .配置节点ip、hostname映射在每台节点etchosts文件后追加如下内容，配置ip与hostname之间的映射nodc3可以将node,txt文件内容追加到e1.chos1.scatnode.txtctchosts脚本执行shbatchscp.shnode.1istctchostsctc2.4禁用SE1.inuxSE1.inux就是Sc
23、curity-Enhanccd1.inux的简称，安全加强的Iinux0传统的IinUX权限是对文件和目录的OWner.group和Other的i、wx进行控制，而SE1.inUX采用的是委任式访问控制，也就是控制一个进程对具体文件系统上面的文件和目录的访问，SE1.inux规定了很多的规则,来决定哪个进程可以访问哪些文件和目录。虽然SE1.inUX很好用，但是在多数情况我们还是将其关闭，因为在不了解其机制的情况下使用SE1.inux会导致软件安装或者应用部署失败。在所有节点执行SCtCnfOrCCO命令Shbatch_cmd.shnode.1ist*SetenforceO集群所有节点修改ct
24、csc1.inux/config文件如下（重启才能生效，所有得要配置上面的临时关闭）：SE1.INUX=Hisab1.edSE1.1.NUXTYPE=targetedshbatchcmd.shnode.1.istsod-isSE1.INUX=.*SE1.INUX=disab1.ed/etcse1.inuxconfigroot1.oca1.host-)Vietcse1.inuxconfig9Thisfi1.econtro1.sthestateoSE1.hHnConthesysten.*SEI1.NUXC4takeoneofthesethreevo1.ues:9enforcing-SE1.inux
25、securitypo1.icyisenforced.perai%ive-SE1.inuxprint%warningsinsteadofenforcing.*disab1.edMoSE1.imncpo1.icyis1.oaded.SE1.1.NUX=disab1.ed，SE1.INUXTYPE-cantakeOneofthreetwova1.ues:9targeted-Targetedprocessesareprotected,nininun-Modificationoftargetedpo1.icy.On1.yse1.ectedprocessesareprotected.#misMu1.ti1
26、eve1.Securityprotection.SE1.1.NuXTYPEtargeted批量拷贝到其他节点shbatch_scp.shnode.1ist/etc/se1inux/configetcse1.inux检查所有机器是否已修改成功：Shbatch_cmd.shnode.1.ist,catetcse1.inuxconfig*IgrepSE1.INUX2.5关闭防火墙集群所有节点执行Systcmct1.stopfirewa1.1.d命令shShshbatch_cmd.shbatch_cmd.Shbatchcmd.shnode,1.istnode.1.istnode.1.istrsyst
27、emct1.stopfirewa1.1.d”,sys1.emct1.disab1.efirewa1.1.drsystemct1.statusfirewa1.1.d：grepActive(root1.oca1.host-ca1.1.shsystect1.disab1.efirewa1.1.dnode1.Removedsya1.inketcsystemdsystedbus-org.fedoraproject.Firewa1.ID1.service.Removedsya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.node2Rem
28、ovedsya1.inketcsystemdsystedbus-org.fedoraproject.Firewa1.1.D1.service.Removedsy1.iketcsystemdsystebasic.target.wa11tsfircwa1.1.d.service.node3Removedsy1.inketcsystcmdsystedbus-org.fedorproject.Firewa1.1.D1.service.Removedsya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.root1.ocIhost-Jxc
29、1.1.ssyte*ct1.stntufirewa1.1.d.node1.- firewa1.1.d.service-firewa1.1.d-dynaaicfirewa1.1.daeon1.oaded:1.oaded(usr1.ibsystedysteafirwd1.1.d.service;disab1.ed;vendorpreset:enab1.ed)Active:inactive(dead)8月2216:09:58Ioca1.hott.Ioca1.doedinSyStaBd1):StartingirM*1.1.ddynaaicfirewa1.1.dM*on.8月2216:W:59Iocd1
30、bost.Ioca1.doedinsyste三d1.):Startedir*w1.1.d-dy0icirew*1.1.8月2216:55:07100IhoStsysted(1.:StoppingfreMa1.1.d-dynamicfIrea1.1.d4e*x.8月2216:55:弊Iocd1.hostsysted(1.:Stoppedfirwa1.1.d-dynkfirewa1.1.dM*on.COde2 firew1.id.service-firewa1.1.d-dyn*icfiroM1.1.deo1.oaded:1.oaded(uir1.ibsysted5ystefirewa1.1.d.
31、aervice;dibb1.ed;vendorpreset:enab1.ed)Active:inactive(dead)Bff2216:16:17Ioca1.hoit.Ioca1.doeainyted1.:Startingfirewa1.1.d-dytvaicfirewo1.1.dc.8月2216:16:381.oca1.hot.1.oc1.dinytcd1.):StartedfirtM1.1.ddynoaicircM*1.1.daemon.8月2216:55:03Ioca1.hoitytc*d1.:Stoppingfirpua1.1.ddynamicfireua1.1.(UCBO.8月221
32、6:53:4IOCahaStsyste*1.1.:Stoppeddy11Micf1.reua1.1.Mprocsysvmswappinessshbatch_cmd.shnode.1.istcat/proc/sys/vm/swappinessKBBzIIWmK.MHk华.u6MtoMX。MWna*Bma9MWftn*s*u*WHIMaMEcm1.19O1.2aW*rHAepcr1.tMngvSHtWm1t0.MMKS*其父.RMPm1.*E*wOoMSMtmCm1.6.MVtftRWINDtMMWSWAImon1.w*，ocnOO0ODDOOO4 .测试成功，点击“继续”，进入目录设置，此处使用
33、默认默认目录,根据实际情况进行目录修改胖集设.：MWSIttvhffieDMtG*).GffitMODODOO5 .点击“继续，进入各个服务启动群集设置UO05Me1111UtUWTO妙CiMMrtHrtFM213mMwr10aMMe1.1.y:c4*.，.MN.XrcUM).H1%.1.wU,C/s.*.C1.wv1.EmtetR,力，oo6 .安装成功后进入CM管理界面主页COO不cm1:7180/cmf/homeC1.OUderdMANAGER主矶落暮三阴表仔仿W?主页次窸所再运行坎况同至QKKm，OC1.uster1*3王机4S16ZP*fC1.)图表GcpuOQHDFS02100%号
34、EI小HuoXVImpa1.aQOozie-C1.UIUf1.三K、主机中的主机CPU快网J1.!VARN(MR2S。1JZooKeepec.C1.ouderaManagementServiceQCkXjdecaMar、五、HBASE安装5.1 准备工作：不同机器之间的时间同步要求每个节点子在30秒root(g)hadpNode5yum-yinsta1.1.ntp#安装ntp软件roothadoopNode5指定与啊里云时间同步服务5.2 安装：1 .下囊hbase1.3.22 .解压ambowhadoopNode1-$tar-xvzf-ZsofVhbase-1.3.2-bin.tar.gz-
35、C-app3 .配置环境变量/.base_PrOfi1.eHBASE_HOMEPATH4 .hbase-env.sh配置java_h(Mie和ZKambow(g)hadpNode1COnfJ$vi$HBASE_HOME/conf/hbase-env.shexportJAVA_HOME=/home/w1./app/jdk1.8.0_121exportHAD6bP_HOME=/home/w1./app.hadoop-2.7.3exportHBASE_MANAGES_ZK=fa1.se#禁用Hbase使用内7/.zookeperexportHBASEBACKUPMASTERS=SfHBASEHOME
36、)confbackup-masters#配置HA的笫二个节HMaster节点新建一个$HBASEJOMEJconf,IbaCkUP-masters文件Vi$HBASEHOMEconf.backp-masters把备用的HMaSter节点添加:hadoopNode25 .hbase-site.xm1.配置参数hbase.rootdirhdfsduster1.dghbasehbase.c1.uster.distributedtruehbase.zookeeper.quorumhadoopNode1.,hadoopNode2rhadoopNode3,hadoopNode4,hadoopNode5va
37、1.uehbase.zookeeper.property.dataDirhomeambowzkdatahdata6 .配置regionserver（配置每一个机器名子节点名不要配主节名）在hbaseConf/下新建regionserver文件,添力口如入内容hadoopNode3hadoopNode4HadoopNodeS7 .scp-rhbase到其他节点ambowhadoopNode1.contSscp-r/app/hbase-1.3.2ambowhadoopNode5:-/app/ambowhadoopNode1.confSscp-r-apphbase-1.3.2ambow1.IadOO
38、PNOde4:/app/ambowhadoopNode1.confJSscp-r-apphbase-1.3.2ambowhadoopNode3:/app/ambowhadoopNode1.confSscpr-*apphbase1.3.2ambowhadoopNode2:-*/app/ambow1.Iad(X)PNOde5:ambowhadoopNode4:ambow1.Iad(WPNQde3:ambowhadoopN。加2:ambowhadoopNode1.con11Sscp-/.bashprofi1.eambowhadoopNode1.con11Sscp-/.bashprofi1.eambowhadpNode1.con11Sscp/.bashprofi1.e(ambowhadoopNodeIcon11Sscp/.bash_profi1.e各节点重新加线：source.bash_profi1.e启动hdfsstart-dfs.sh六、F1.ume安装6.1安装1.解压tarzxvfapache-f1.ume-1.6.0-bin.tar.gz(ambowhadoopNode311ume-1.6.0Star-zxvfapache-ume-1.6.0-bin.tar.gzC
免费区 
