2.1.3 Hadoop集群部署前准备
集群是一组相互独立的、通过高速网络互联的计算机。集群中每台计算机经过组合形成一个组,并以单一系统的模式加以管理。当用户与集群相互作用时,集群像独立的服务器。集群配置的优点在于能提高性能、降低成本、提高可扩展性和增强可靠性。
1.集群系统规划
2.1.2小节初步完成了虚拟机master的CentOS的部署,实际上,在部署Hadoop集群中,需要配置多台主机,以形成集群系统。在本书中,将以4台服务器、1台Windows 7客户机为例,完成Hadoop集群的部署。
Hadoop集群系统规划如表2-1所示。
表2-1 Hadoop集群系统规划
2.集群网络配置
master网络和IP地址配置的步骤如下。
(1)重启网络服务。执行“service network restart”命令重启网络服务,如图2-39所示,结果显示重启成功。
图2-39 重启网络服务
(2)修改ifcfg-eth0配置文件中的IP地址设置。执行“vi/etc/sysconfig/network-scripts/ifcfg-eth0”命令进入ifcfg-eth0文件,按键盘的“I”键进入编辑状态以修改文件,修改的内容如代码2-1所示。
代码2-1 ifcfg-eth0文件修改的内容
DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.128.130 NETMASK=255.255.255.0 GATEWAY=192.168.128.2 DNS1=192.168.128.2
(3)再次重启网络服务。执行“service network restart”命令重启网络服务,使网络新配置生效。
3.安装配置Xshell和Xftp
Xshell是由NetSarang公司开发的功能强大的安全终端模拟软件,支持SSH1、SSH2和Telnet协议。使用Xshell可通过互联网安全连接到远程主机,Xshell提供了很多功能,使得远程操作Linux系统更为便捷。Xftp是由NetSarang公司开发的功能强大的具有SSH文件传输协议(SSH File Transfer Protocol,SFTP)、文件传输协议(File Transfer Protocol,FTP)的文件传输软件。通过Xftp,Microsoft Windows用户能安全地在UNIX或Linux环境和Windows环境之间传输文件。为了方便后续的配置工作,建议读者提前下载并安装Xshell和Xftp。
Xshell和Xftp安装与连接虚拟机的操作过程如下。
(1)Xshell和Xftp的下载安装。非商用版本的Xshell和Xftp的安装文件可在NetSarang公司中文网站下载,如图2-40所示。下载时,选择“学校/家庭免费”,并填写个人姓名和邮箱,通过邮箱获得免费版下载链接。由于安装过程有中文安装向导指引,且较为简单,在此不赘述,请读者自行完成。
图2-40 Xshell和Xftp下载页面
(2)Xshell和Xftp连接虚拟机。由于Xftp连接虚拟机的方式和Xshell的连接方式类似,故下面以Xshell为例说明。在连接虚拟机前,需将虚拟机的服务打开,并完成虚拟机的网络配置,否则无法进行远程连接。
Xshell连接虚拟机的主要步骤如下。
① 在Xshell主界面,单击“文件”菜单,如图2-41所示,然后选择“新建”选项。
图2-41 新建会话
② 进入“新建会话属性”对话框,输入名称“master”,协议默认为安全外壳(Secure Shell,SSH)协议,输入主机地址“192.168.128.130”,如图2-42所示。
图2-42 “新建会话属性”对话框
③ 单击图2-42所示对话框中左侧“用户身份验证”进入“身份验证”界面,输入用户名“root”,密码“123456”,勾选“Password”复选框,如图2-43所示,然后单击“确定”按钮保存,也可单击“连接”按钮,直接连接主机。
图2-43 设置用户名、密码
④ 当第一次连接到主机时,会弹出“SSH安全警告”对话框,如图2-44所示,单击“接受并保存”按钮,连接成功后的Xshell远程登录界面如图2-45所示。
图2-44 SSH安全警告
图2-45 Xshell远程登录界面
至此,已经完成Xshell与虚拟机的远程连接,Xftp可参照Xshell连接虚拟机的过程进行配置。