为了方便简洁,直接VirtualBox里现装一个CentOS 6.4的Mini版本,211个软件包,系统一下子安装结束
1:虚拟机配置网络
最好是配置桥接,当然有时候很蛋疼,桥接了网络连不上,那只好配置NAT
2:安装JAVA的jdk
yum install java-1.6.0-openjdk
yum install java-1.6.0-openjdk-devel
安装完之后 whereis java
java: /usr/bin/java /etc/java /usr/lib/java
3:寻找hadoop安装包,先找个旧版本stable试试
mkdir work
cd work
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-1.x86_64.rpm
rpm2cpio hadoop-1.2.1-1.x86_64.rpm | cpio –div
会产生usr,etc,var三个目录
4:配置
cd work/etc/hadoop
vim hadoop-env.sh
将注释掉的改成export JAVA_HOME=/usr
这里我就直接环境变量设置成系统的,你可以自行修改
vim core-site.xml
中间添加如下几行
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
cp –r work/etc work/usr
5:验证
ssh-keygen –t rsa
所有选择全部按回车键。因为hadoop需要无密码登陆作为datanode的节点,而现在是单节点,所以namenode和datanode都是当前节点,所以要生成无需密码登陆的SSH
cd ~/.ssh
id_rsa.pub是公钥,id_rsa是密钥
cat id_rsa.put >> authorized_keys
chmod 600 authorized_keys
测试,如果SSH不需要输入密码,那么就设置成功:
ssh localhost
6:启动
可以先将hadoop添加到系统环境变量里,执行起来方便
export PATH=/yourpath/work/usr/bin:/yourpath/work/usr/sbin:$PATH
格式化namenode:
hadoop namenode format
sh work/usr/sbin/start-all.sh
假如执行报错,可能是sbin目录下有的hadoop文件权限不够,可以直接chmod 777再试试
这样hadoop就运行起来了,可以通过pgrep java查看启动的进程