《监控维护.ppt》由会员分享，可在线阅读，更多相关《监控维护.ppt（43页珍藏版）》请在三一文库上搜索。
1、HDFS 监控 维护,管理Hadoop,永久性数据结构 安全模式 日志审计,HDFS,HDFS ：永久性数据结构,namenode的目录结构： dfs.name.dir VERSION namespaceID cTime storageType,HDFS ：文件系统映像和编辑日志,namenode维护文件系统的元数据 fsimage文件是文件系统的一个永久检查点,HDFS ：文件系统映像和编辑日志,由于需要恢复编辑日志中的各项操作，会导致namenode重启操作较慢。此时间内，文件系统将处于离线状态。 运行辅助namenode,HDFS ：文件系统映像和编辑日志,创建检查点的过程,HDFS ：
2、辅助namenode,辅助namenode的目录结构,HDFS ：datanode,datanode的目录结构,HDFS ：安全模式,在安全模式下，namenode的文件系统对于客户端来说是只读的,HDFS ：安全模式,查看namenode是否进入安全模式： %hadoop dfssdmin safemode get Safe mode is ON 退出安全模式： %hadoop dfsadmin safemode wait # command to read or write a file 进入安全模式： %hadoop dfsadmin safemode enter Safe mode i
3、s ON 离开安全模式： %hadoop dfsadmin safemode leave Safe mode is OFF,HDFS ：日志审计,HDFS 的日志能够记录所有文件的访问请求，对日志进行审计是log4j在INFO级别实现的。在默认配置下，log4j。Properties属性文件中的阈值被设为WARN（未启动）。,HDFS ：dfsadmin,dfsadmin工具既可以查找 HDFS状态信息，又可在 HDFS上执行管理操作。,HDFS ：fsck,fsck工具可以用来检测HDFS中文件的健康状况,HDFS ：fsck,对于损坏或者丢失的块 -移动 -删除 寻找特定文件的数据块,HD
4、FS ：datanode块扫描器,每个datanode运行一个块扫描器，定期检查本节点上的所有块，从而在客户端客端读到坏块之前及时的检测和修复坏块。 周期：dfs.datanode.scan.period.hours设置,HDFS ：均衡器,目的：均衡器将块从忙碌的datanode移到相对空闲的datanode，重新分配块 启动均衡器： %start balancer.sh -threshold,监控,日志 度量 Java管理扩展,监控,监控 日志,日志有助于查明系统中发生的事件 设置日志级别： 通过Hadoop守护进程的网页来改变任何log4j日志名称的日志级别 获取堆栈轨迹： Hadoop
5、守护进程提供一个网页对正在守护进程的JVM中运行着的线程执行线程转储。,监控 度量,HDFS和MapReduce守护进程收集相关的事件和度量信息。,监控 度量,监控 度量,监控 度量,监控 Java管理扩展(JMX),监控 Java管理扩展(JVM),许多第三方监控和报警系统均可查询Mbean，因此通过这些系统使用JMX能够监控一个Hadoop集群。,维护,日常管理过程 元数据备份 数据备份 fsck工具 文件系统均衡器 委任和解除节点 委任新节点 解除旧节点 升级 版本兼容 HDFS的数据和元数据升级,维护 元数据备份,如果namenode的永久性性元数据丢失或者损坏，则整个文件系统无法使用
6、，因此数据备份非常关键。 方法一：直接保存这些元数据文件的副本 方法二：整合倒namenode正在使用的文件上,维护 数据备份,为数据划分不同的优先级最高优先级是那些无法重新产生数据，对业务非常关键的数据，通常备份。优先级低的数据则无需备份。 distcp备份工具,维护 fsck工具,定期地对整个文件系统运行HDFS的fsck（文件系统检查）工具，主动查找丢失或损坏的块,维护 文件系统均衡器,定期地运行均衡器工具，保存文件系统的各个datanode比较均衡。,维护 委任和解除节点,维护 委任新节点,维护 解除旧节点,维护 解除旧节点,维护 升级,维护 兼容,维护 升级,必要性：在一个测试集群做实验,维护 升级Five Tips,维护 升级步骤,维护 升级,维护 升级,Thank You,