Hadoop 迁移 NameNode

imen发布

目前用来搭建Hadoop集群的服务器硬件上不太稳定,经常出现内存或者CPU坏掉的情况。部分情况下,需要在不丢失数据的情况下将namenode迁移到其他服务器,特在此记录操作流程,供后续参考。

重要:此次迁移方案仅在0.20.2版本通过测试,其他版本不保证迁移成功。

一、选定NameNode和SecondaryNameNode服务器

二、停止集群服务,包括HDFS、MapReduce

三、备份原NameNode上面的数据:hdfs-site.xml中dfs.name.dir所配置的路径,例如:/data/hadoop/name

四、修改某客户机上的集群配置,验证无误后分发到其他客户机:
core-site.xml,修改fs.default.name地址为新NameNode地址
hdfs-site.xml,修改dfs.http.address地址为新NameNode地址

五、修改NameNode上的hdfs-site.xml,修改dfs.data.dir配置,去掉分给name的那个分区
六、将原NameNode的/data/hadoop/name路径下的内容,scp至新NameNode的相同路径
七、启动HDFS,查看NameNode、SecondaryNameNode和各个DataNode状态是否正常
八、启动MapReduce,查看TaskTracker、ZooKeeper、RegionServer状态是否存在异常

分类: 分布式

0 条评论

发表回复

Avatar placeholder