原创 Cloudera manager 添加主机节点

Cloudera manager 安装 好了后,在日常维护过程中,添加主机是比较常见的,这里介绍下如何快速添加主机。

该方案中在中控机(Cloudera manager 所在主机)上部署了 ansible,方便批量执行文件执行和分发。

1. 修改主机名

hostnamectl set-hostname hadoop-nm-45.com
1

修改 中控机的 /etc/hosts,增加新主机的主机名

修改 /etc/ansible/hosts,增加新主机的主机名

分发 /etc/hosts 到所有节点,因为节点间是通过主机名互通的。

ansible hadoop -m copy  -a "src=/etc/hosts dest=/etc/hosts"
1

2. 安装 jdk 和 cm 包

rpm -ivh jdk-8u202-linux-x64.rpm
yum localinstall cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm -y
1
2

3. 启动 cloudera-scm-agent

修改 cloudera-scm-agent 的配置文件,指向 Cloudera manager 的主机。

sed 's/server_host=localhost/server_host=10.0.0.15/'g /etc/cloudera-scm-agent/config.ini  -i
systemctl  start cloudera-scm-agent
systemctl  enable cloudera-scm-agent
1
2
3

4. 修改主机配置

echo "vm.swappiness = 10" >> /etc/sysctl.conf # 优化交换分区,默认是 30
sysctl -p
echo never > /sys/kernel/mm/transparent_hugepage/defrag # 透明大页面压缩
echo never > /sys/kernel/mm/transparent_hugepage/enabled # 透明大页面压缩
1
2
3
4

5. 集群添加主机

选择集群,添加主机即可。

会完成 parcels 分发等操作。

完成主机添加。