Ubuntu Hadoop 集群 部署

参考 http://www.cnblogs.com/welbeckxu/archive/2011/12/30/2306887.html

提示: 需要参考链接才能成功部署，下面是个人安装记录的一些东东，希望对你有用~~~

集群电脑ip设置
ubuntuMaster0
address 192.168.1.110
netmask 255.255.255.0
gateway 192.168.1.1

ubuntuSlave0
address 192.168.1.120
netmask 255.255.255.0
gateway 192.168.1.1

ubuntuSlave1
address 192.168.1.121
netmask 255.255.255.0
gateway 192.168.1.1

sudo vim /etc/network/interfaces

auto eth0
iface eth0 inet static
ip 192.168.1.110
netmask 255.255.255.0
gateway 192.168.1.1

sudo /etc/init.d/networking restart    使静态ip生效


0）每台电脑新建用户hadoop
sudo useradd -s /bin/bash -d /home/hadoop -m hadoop -g cloudserver -G root
/bin/bash 能够自动提示
-g 组
-G 又属于root组
sudo passwd hadoop

1) 安装JDK
全局安装，hadoop用户在.bashrc中添加java_home,hadoop_home即可
参考.bashrc

PATH=$PATH:$HOME/bin
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/home/hadoop/hadoop-1.0.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export CLASSPATH=$JAVA_HOME/lib:$HADOOP_HOME/lib:.


2) 配置SSH
SSH是telnet的加强版，采用公钥，私钥进行加密
Hadoop集群要求节点之间免密码登录，首先介绍下SSH的用法

Client A(hadoop用户) ssh Server B(hadoop用户)

A:
hadoop@A:~$ ssh-keygen -t rsa -P ""
A产生公钥私钥
hadoop@A:~$ ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@B
将A公钥上传给B的hadoop用户.ssh目录下
hadoop@A:~$ ssh B
(B可以使地址或者机器名)

若A和B是同一台机器
hadoop@A:~$ ssh-keygen -t rsa -P ""
hadoop@A:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3) 下载解压hadoop
sudo cp ~/Downloads/hadoop.tar.gz /home/hadoop
sudo chown hadoop:cloudserver hadoop.tar.gz
su hadoop
tar zxvf hadoop.tar.gz


遇到的问题:
hadoop bash: warning: setlocale: LC_ALL: cannot change locale (zh_CN.UTF-8)
在hadoop的.bashrc中添加export LC_ALL=C，问题消失，但是中文乱码了

评论

1 楼 fff5706 2013-02-07  

Boss Xu, LC_ALL最好不要改他，不然乱码。。。
然后你出现cannot set的原因是，你的/etc/locale.gen里面没有设置相应的locale（可能和我之前一样都只有en_US.UTF-8，然后怎么设zh_CN.UTF-8都无效。解决方案么，就是在locale.gen里面添加一行zh_CN.UTF-8 UTF-8，然后运行locale.gen生成新的locale，然后就可以单独设置locale而不是设置全局的LC_ALL了。
希望没有装X失败。