搭建分布式Hadoop(只有HDFS)集群,跨阿里云和腾讯云

又几个月没写过文章了,今天随便写一写吧。

由于实际需要需要研读HDFS的源码,最好的方法就是加一些日志看NameNode是怎么运行的,又经常在外面,所以就需要在公网上搭一个分布式的Hadoop(只有HDFS)集群,有两个DataNode节点即可。但实际情况是我有一个阿里云服务器,有一个腾讯云服务器。联想到Hadoop可以跨机架,跨机房进行搭建,想了想从原理上来讲的话,这样应该也是可行的,于是抱着试一试的心态开始搭建跨云服务器(机房)的Hadoop集群。

我的阿里云服务器的公网IP为a11.b11.c11.d11,内网IP为a12.b12.c12.d12;腾讯云的服务器的公网IP为a21.b21.c21.d21,内网IP为a22.b22.c22.d22。

以阿里云的服务器为主,跑一个NameNode和一个DataNode,腾讯云服务器跑一个DataNode(个人腾讯云服务器跑了太多服务了,且配置等方面也不太够)。

下面开始。

首先,安装并配置Java环境,这就不多说了,apt-get或者yum安装一下,然后改一下环境变量即可。我安装的是Java7,因为我用的Hadoop的版本是hadoop2.6.0-cdh5.10.0,听说Java8会有问题,但我没有实际试过;

然后,编辑/etc/hosts文件,将本系统的别名编辑上去,在阿里云服务器上编辑如下:

在腾讯云服务器上编辑如下:

然后,在两台服务器上通过 sudo adduser hadoop 命令添加hadoop用户,记住设置的密码,我设置的是一样的;

然后,设置ssh免密码登录(最开始我懒得设置了,每次启动集群和关闭集群均要输入密码,我设置的密码又很麻烦,输入密码输入到我怀疑人生)。首先输入ssh-keygen -t rsa,一路回车即可,此时在用户的根目录生成了~/.ssh/id_rsa.pub 公钥,将其推送给集群中每台服务器即可。因为我的集群中共有两台机器,命令为:ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop1;ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop2,成功后就可以ssh免密码登录了;

然后,记得关闭防火墙,ubuntu下的关闭防火墙的命令是 ufw disable;

然后就是安装hadoop集群了,修改$HADOOP_HOME/etc/hadoop/目录下的三个文件即可,集群中的所有服务器都要改,并且集群中的所有服务器的Hadoop的路径最好完全一致。这三个文件是:

core-site.xml

hdfs-site.xml

slaves:

最后,在$HADOOP_HOME/sbin路径下,执行./start-dfs.sh即可。

 

贴一张NameNode网管显示的图:

 

碰到的三个坑:

(1)启动时显示找不到$JAVA_HOME,这个时候在hadoop-env.sh文件中把$JAVA_HOME用绝对路径重新定义一下即可;

(2)启动时,DataNode无法启动,看日志显示DataNode的Cluster-ID和NameNode的Cluster-ID不匹配,此时找到hadoop文件目录下DataNode的VERSION文件,将它的Cluster-ID修改为和NameNode的Cluster-ID一致即可;

(3)启动时,NameNode无法启动,看日志显示文件系统的路径有问题,执行./hdfs namenode -format,重新启动集群。

共有 0 条评论

Top