基于 ZooKeeper 搭建 Hadoop 高可用集群

一、高可用简介

Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解：

1.1 高可用整体架构

HDFS 高可用架构如下：

图片引用自：https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/

HDFS 高可用架构主要由以下组件所构成：

• Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务。
• 主备切换控制器 ZKFailoverController：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zookeeper 实现自动的主备选举和切换，当然 NameNode 目前也支持不依赖于 Zookeeper 的手动主备切换。
• Zookeeper 集群：为主备切换控制器提供主备选举支持。
• 共享存储系统：共享存储系统是实现 NameNode 的高可用最为关键的部分，共享存储系统保存了 NameNode 在运行过程中所产生的 HDFS 的元数据。主 NameNode 和 NameNode 通过共享存储系统实现元数据同步。在进行主备切换的时候，新的主 NameNode 在确认元数据完全同步之后才能继续对外提供服务。
• DataNode 节点：除了通过共享存储系统共享 HDFS 的元数据信息之外，主 NameNode 和备 NameNode 还需要共享 HDFS 的数据块和 DataNode 之间的映射关系。DataNode 会同时向主 NameNode 和备 NameNode 上报数据块的位置信息。

1.2 基于 QJM 的共享存储系统的数据同步机制分析

目前 Hadoop 支持使用 Quorum Journal Manager (QJM) 或 Network File System (NFS) 作为共享的存储系统，这里以 QJM 集群为例进行说明：Active NameNode 首先把 EditLog 提交到 JournalNode 集群，然后 Standby NameNode 再从 JournalNode 集群定时同步 EditLog，当 Active NameNode 宕机后， Standby NameNode 在确认元数据完全同步之后就可以对外提供服务。

需要说明的是向 JournalNode 集群写入 EditLog 是遵循 “过半写入则成功” 的策略，所以你至少要有3个 JournalNode 节点，当然你也可以继续增加节点数量，但是应该保证节点总数是奇数。同时如果有 2N+1 台 JournalNode，那么根据过半写的原则，最多可以容忍有 N 台 JournalNode 节点挂掉。

1.3 NameNode 主备切换

NameNode 实现主备切换的流程下图所示：

1. HealthMonitor 初始化完成之后会启动内部的线程来定时调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法，对 NameNode 的健康状态进行检测。
2. HealthMonitor 如果检测到 NameNode 的健康状态发生变化，会回调 ZKFailoverController 注册的相应方法进行处理。
3. 如果 ZKFailoverController 判断需要进行主备切换，会首先使用 ActiveStandbyElector 来进行自动的主备选举。
4. ActiveStandbyElector 与 Zookeeper 进行交互完成自动的主备选举。
5. ActiveStandbyElector 在主备选举完成后，会回调 ZKFailoverController 的相应方法来通知当前的 NameNode 成为主 NameNode 或备 NameNode。
6. ZKFailoverController 调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法将 NameNode 转换为 Active 状态或 Standby 状态。

1.4 YARN高可用

YARN ResourceManager 的高可用与 HDFS NameNode 的高可用类似，但是 ResourceManager 不像 NameNode ，没有那么多的元数据信息需要维护，所以它的状态信息可以直接写到 Zookeeper 上，并依赖 Zookeeper 来进行主备选举。

二、集群规划

按照高可用的设计目标：需要保证至少有两个 NameNode (一主一备) 和 两个 ResourceManager (一主一备) ，同时为满足“过半写入则成功”的原则，需要至少要有3个 JournalNode 节点。这里使用三台主机进行搭建，集群规划如下：

三、前置条件

• 所有服务器都安装有JDK，安装步骤可以参见：；
• 搭建好ZooKeeper集群，搭建步骤可以参见：
• 所有服务器之间都配置好SSH免密登录。

四、集群配置

4.1 下载并解压

下载Hadoop。这里我下载的是CDH版本Hadoop，下载地址为：http://archive.cloudera.com/cdh5/cdh/5/

1

# tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz

tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz

4.2 配置环境变量

编辑 profile文件：

1

# vim /etc/profile

vim /etc/profile

增加如下配置：

1

export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2 export  PATH=${HADOOP_HOME}/bin:$PATH

export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2 export PATH=${HADOOP_HOME}/bin:$PATH

执行 source命令，使得配置立即生效：

1

# source /etc/profile

source /etc/profile

4.3 修改配置

进入 ${HADOOP_HOME}/etc/hadoop目录下，修改配置文件。各个配置文件内容如下：

1. hadoop-env.sh

12

# 指定JDK的安装位置 
export JAVA_HOME=/usr/java/jdk1.8.0_201/

指定JDK的安装位置

export JAVA_HOME=/usr/java/jdk1.8.0_201/

2. core-site.xml

12345678910111213141516171819202122

configuration    property        !-- 指定namenode的hdfs协议文件系统的通信地址 --        namefs.defaultFS/name        valuehdfs://hadoop001:8020/value    /property    property        !-- 指定hadoop集群存储临时文件的目录 --        namehadoop.tmp.dir/name        value/home/hadoop/tmp/value    /property    property        !-- ZooKeeper集群的地址 --        nameha.zookeeper.quorum/name        valuehadoop001:2181,hadoop002:2181,hadoop002:2181/value    /property    property        !-- ZKFC连接到ZooKeeper超时时长 --        nameha.zookeeper.session-timeout.ms/name        value10000/value    /property/configuration

configuration
property
!– 指定namenode的hdfs协议文件系统的通信地址 –
namefs.defaultFS/name
valuehdfs://hadoop001:8020/value
/property
property
!– 指定hadoop集群存储临时文件的目录 –
namehadoop.tmp.dir/name
value/home/hadoop/tmp/value
/property
property
!– ZooKeeper集群的地址 –
nameha.zookeeper.quorum/name
valuehadoop001:2181,hadoop002:2181,hadoop002:2181/value
/property
property
!– ZKFC连接到ZooKeeper超时时长 –
nameha.zookeeper.session-timeout.ms/name
value10000/value
/property
/configuration

3. hdfs-site.xml

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182

configuration    property        !-- 指定HDFS副本的数量 --        namedfs.replication/name        value3/value    /property    property        !-- namenode节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗号分隔 --        namedfs.namenode.name.dir/name        value/home/hadoop/namenode/data/value    /property    property        !-- datanode节点数据（即数据块）的存放位置 --        namedfs.datanode.data.dir/name        value/home/hadoop/datanode/data/value    /property    property        !-- 集群服务的逻辑名称 --        namedfs.nameservices/name        valuemycluster/value    /property    property        !-- NameNode ID列表--        namedfs.ha.namenodes.mycluster/name        valuenn1,nn2/value    /property    property        !-- nn1的RPC通信地址 --        namedfs.namenode.rpc-address.mycluster.nn1/name        valuehadoop001:8020/value    /property    property        !-- nn2的RPC通信地址 --        namedfs.namenode.rpc-address.mycluster.nn2/name        valuehadoop002:8020/value    /property    property        !-- nn1的http通信地址 --        namedfs.namenode.http-address.mycluster.nn1/name        valuehadoop001:50070/value    /property    property        !-- nn2的http通信地址 --        namedfs.namenode.http-address.mycluster.nn2/name        valuehadoop002:50070/value    /property    property        !-- NameNode元数据在JournalNode上的共享存储目录 --        namedfs.namenode.shared.edits.dir/name        valueqjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/mycluster/value    /property    property        !-- Journal Edit Files的存储目录 --        namedfs.journalnode.edits.dir/name        value/home/hadoop/journalnode/data/value    /property    property        !-- 配置隔离机制，确保在任何给定时间只有一个NameNode处于活动状态 --        namedfs.ha.fencing.methods/name        valuesshfence/value    /property    property        !-- 使用sshfence机制时需要ssh免密登录 --        namedfs.ha.fencing.ssh.private-key-files/name        value/root/.ssh/id_rsa/value    /property    property        !-- SSH超时时间 --        namedfs.ha.fencing.ssh.connect-timeout/name        value30000/value    /property    property        !-- 访问代理类，用于确定当前处于Active状态的NameNode --        namedfs.client.failover.proxy.provider.mycluster/name        valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value    /property    property        !-- 开启故障自动转移 --        namedfs.ha.automatic-failover.enabled/name        valuetrue/value    /property/configuration

configuration
property
!– 指定HDFS副本的数量 –
namedfs.replication/name
value3/value
/property
property
!– namenode节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗号分隔 –
namedfs.namenode.name.dir/name
value/home/hadoop/namenode/data/value
/property
property
!– datanode节点数据（即数据块）的存放位置 –
namedfs.datanode.data.dir/name
value/home/hadoop/datanode/data/value
/property
property
!– 集群服务的逻辑名称 –
namedfs.nameservices/name
valuemycluster/value
/property
property
!– NameNode ID列表–
namedfs.ha.namenodes.mycluster/name
valuenn1,nn2/value
/property
property
!– nn1的RPC通信地址 –
namedfs.namenode.rpc-address.mycluster.nn1/name
valuehadoop001:8020/value
/property
property
!– nn2的RPC通信地址 –
namedfs.namenode.rpc-address.mycluster.nn2/name
valuehadoop002:8020/value
/property
property
!– nn1的http通信地址 –
namedfs.namenode.http-address.mycluster.nn1/name
valuehadoop001:50070/value
/property
property
!– nn2的http通信地址 –
namedfs.namenode.http-address.mycluster.nn2/name
valuehadoop002:50070/value
/property
property
!– NameNode元数据在JournalNode上的共享存储目录 –
namedfs.namenode.shared.edits.dir/name
valueqjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/mycluster/value
/property
property
!– Journal Edit Files的存储目录 –
namedfs.journalnode.edits.dir/name
value/home/hadoop/journalnode/data/value
/property
property
!– 配置隔离机制，确保在任何给定时间只有一个NameNode处于活动状态 –
namedfs.ha.fencing.methods/name
valuesshfence/value
/property
property
!– 使用sshfence机制时需要ssh免密登录 –
namedfs.ha.fencing.ssh.private-key-files/name
value/root/.ssh/id_rsa/value
/property
property
!– SSH超时时间 –
namedfs.ha.fencing.ssh.connect-timeout/name
value30000/value
/property
property
!– 访问代理类，用于确定当前处于Active状态的NameNode –
namedfs.client.failover.proxy.provider.mycluster/name
valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value
/property
property
!– 开启故障自动转移 –
namedfs.ha.automatic-failover.enabled/name
valuetrue/value
/property
/configuration

4. yarn-site.xml

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667

configuration    property        !--配置NodeManager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在Yarn上运行MapReduce程序。--        nameyarn.nodemanager.aux-services/name        valuemapreduce_shuffle/value    /property    property        !-- 是否启用日志聚合(可选) --        nameyarn.log-aggregation-enable/name        valuetrue/value    /property    property        !-- 聚合日志的保存时间(可选) --        nameyarn.log-aggregation.retain-seconds/name        value86400/value    /property    property        !-- 启用RM HA --        nameyarn.resourcemanager.ha.enabled/name        valuetrue/value    /property    property        !-- RM集群标识 --        nameyarn.resourcemanager.cluster-id/name        valuemy-yarn-cluster/value    /property    property        !-- RM的逻辑ID列表 --        nameyarn.resourcemanager.ha.rm-ids/name        valuerm1,rm2/value    /property    property        !-- RM1的服务地址 --        nameyarn.resourcemanager.hostname.rm1/name        valuehadoop002/value    /property    property        !-- RM2的服务地址 --        nameyarn.resourcemanager.hostname.rm2/name        valuehadoop003/value    /property    property        !-- RM1 Web应用程序的地址 --        nameyarn.resourcemanager.webapp.address.rm1/name        valuehadoop002:8088/value    /property    property        !-- RM2 Web应用程序的地址 --        nameyarn.resourcemanager.webapp.address.rm2/name        valuehadoop003:8088/value    /property    property        !-- ZooKeeper集群的地址 --        nameyarn.resourcemanager.zk-address/name        valuehadoop001:2181,hadoop002:2181,hadoop003:2181/value    /property    property        !-- 启用自动恢复 --        nameyarn.resourcemanager.recovery.enabled/name        valuetrue/value    /property    property        !-- 用于进行持久化存储的类 --        nameyarn.resourcemanager.store.class/name        valueorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore/value    /property/configuration

configuration
property
!–配置NodeManager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在Yarn上运行MapReduce程序。–
nameyarn.nodemanager.aux-services/name
valuemapreduce_shuffle/value
/property
property
!– 是否启用日志聚合(可选) –
nameyarn.log-aggregation-enable/name
valuetrue/value
/property
property
!– 聚合日志的保存时间(可选) –
nameyarn.log-aggregation.retain-seconds/name
value86400/value
/property
property
!– 启用RM HA –
nameyarn.resourcemanager.ha.enabled/name
valuetrue/value
/property
property
!– RM集群标识 –
nameyarn.resourcemanager.cluster-id/name
valuemy-yarn-cluster/value
/property
property
!– RM的逻辑ID列表 –
nameyarn.resourcemanager.ha.rm-ids/name
valuerm1,rm2/value
/property
property
!– RM1的服务地址 –
nameyarn.resourcemanager.hostname.rm1/name
valuehadoop002/value
/property
property
!– RM2的服务地址 –
nameyarn.resourcemanager.hostname.rm2/name
valuehadoop003/value
/property
property
!– RM1 Web应用程序的地址 –
nameyarn.resourcemanager.webapp.address.rm1/name
valuehadoop002:8088/value
/property
property
!– RM2 Web应用程序的地址 –
nameyarn.resourcemanager.webapp.address.rm2/name
valuehadoop003:8088/value
/property
property
!– ZooKeeper集群的地址 –
nameyarn.resourcemanager.zk-address/name
valuehadoop001:2181,hadoop002:2181,hadoop003:2181/value
/property
property
!– 启用自动恢复 –
nameyarn.resourcemanager.recovery.enabled/name
valuetrue/value
/property
property
!– 用于进行持久化存储的类 –
nameyarn.resourcemanager.store.class/name
valueorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore/value
/property
/configuration

5. mapred-site.xml

1234567

configuration    property        !--指定mapreduce作业运行在yarn上--        namemapreduce.framework.name/name        valueyarn/value    /property/configuration

configuration
property
!–指定mapreduce作业运行在yarn上–
namemapreduce.framework.name/name
valueyarn/value
/property
/configuration

5. slaves

配置所有从属节点的主机名或IP地址，每行一个。所有从属节点上的 DataNode服务和 NodeManager服务都会被启动。

123

hadoop001hadoop002hadoop003

hadoop001
hadoop002
hadoop003

4.4 分发程序

将Hadoop安装包分发到其他两台服务器，分发后建议在这两台服务器上也配置一下Hadoop的环境变量。

1234

# 将安装包分发到hadoop002scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop002:/usr/app/# 将安装包分发到hadoop003scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop003:/usr/app/

将安装包分发到hadoop002

scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop002:/usr/app/

将安装包分发到hadoop003

scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop003:/usr/app/

五、启动集群

5.1 启动ZooKeeper

分别到三台服务器上启动ZooKeeper服务：

1

 zkServer.sh start

zkServer.sh start

5.2 启动Journalnode

分别到三台服务器的的 ${HADOOP_HOME}/sbin目录下，启动 journalnode进程：

1

hadoop-daemon.sh start journalnode

hadoop-daemon.sh start journalnode

5.3 初始化NameNode

在 hadop001上执行 NameNode初始化命令：

1

hdfs namenode -format

hdfs namenode -format

执行初始化命令后，需要将 NameNode元数据目录的内容，复制到其他未格式化的 NameNode上。元数据存储目录就是我们在 hdfs-site.xml中使用 dfs.namenode.name.dir属性指定的目录。这里我们需要将其复制到 hadoop002上：

1

 scp -r /home/hadoop/namenode/data hadoop002:/home/hadoop/namenode/

scp -r /home/hadoop/namenode/data hadoop002:/home/hadoop/namenode/

5.4 初始化HA状态

在任意一台 NameNode上使用以下命令来初始化ZooKeeper中的HA状态：

1

hdfs zkfc -formatZK

hdfs zkfc -formatZK

5.5 启动HDFS

进入到 hadoop001的 ${HADOOP_HOME}/sbin目录下，启动HDFS。此时 hadoop001和 hadoop002上的 NameNode服务，和三台服务器上的 DataNode服务都会被启动：

1

start-dfs.sh

start-dfs.sh

5.6 启动YARN

进入到 hadoop002的 ${HADOOP_HOME}/sbin目录下，启动YARN。此时 hadoop002上的 ResourceManager服务，和三台服务器上的 NodeManager服务都会被启动：

1

start-yarn.sh

start-yarn.sh

需要注意的是，这个时候 hadoop003上的 ResourceManager服务通常是没有启动的，需要手动启动：

1

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start resourcemanager

六、查看集群

6.1 查看进程

成功启动后，每台服务器上的进程应该如下：

12345678910111213141516171819202122232425

[root@hadoop001 sbin]# jps4512 DFSZKFailoverController3714 JournalNode4114 NameNode3668 QuorumPeerMain5012 DataNode4639 NodeManager  [root@hadoop002 sbin]# jps4499 ResourceManager4595 NodeManager3465 QuorumPeerMain3705 NameNode3915 DFSZKFailoverController5211 DataNode3533 JournalNode  [root@hadoop003 sbin]# jps3491 JournalNode3942 NodeManager4102 ResourceManager4201 DataNode3435 QuorumPeerMain

[root@hadoop001 sbin]# jps
4512 DFSZKFailoverController
3714 JournalNode
4114 NameNode
3668 QuorumPeerMain
5012 DataNode
4639 NodeManager

[root@hadoop002 sbin]# jps
4499 ResourceManager
4595 NodeManager
3465 QuorumPeerMain
3705 NameNode
3915 DFSZKFailoverController
5211 DataNode
3533 JournalNode

[root@hadoop003 sbin]# jps
3491 JournalNode
3942 NodeManager
4102 ResourceManager
4201 DataNode
3435 QuorumPeerMain

6.2 查看Web UI

HDFS和YARN的端口号分别为 50070和 8080，界面应该如下：

此时hadoop001上的 NameNode处于可用状态：

而hadoop002上的 NameNode则处于备用状态：

 

 

hadoop002上的 ResourceManager处于可用状态：

 

 

hadoop003上的 ResourceManager则处于备用状态：

 

 

同时界面上也有 Journal Manager的相关信息：

 

七、集群的二次启动

上面的集群初次启动涉及到一些必要初始化操作，所以过程略显繁琐。但是集群一旦搭建好后，想要再次启用它是比较方便的，步骤如下（首选需要确保ZooKeeper集群已经启动）：

在 hadoop001启动 HDFS，此时会启动所有与 HDFS 高可用相关的服务，包括 NameNode，DataNode 和 JournalNode：

1

start-dfs.sh

start-dfs.sh

在 hadoop002启动YARN：

1

start-yarn.sh

start-yarn.sh

这个时候 hadoop003上的 ResourceManager服务通常还是没有启动的，需要手动启动：

1

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start resourcemanager

参考资料

以上搭建步骤主要参考自官方文档：

-

关于Hadoop高可用原理的详细分析，推荐阅读：

原文始发于：https://www.cnblogs.com/danrenying/p/11080640.html