CentOS6.4单节点VirtualBox搭建hadoop

为了方便简洁,直接VirtualBox里现装一个CentOS 6.4的Mini版本,211个软件包,系统一下子安装结束

1:虚拟机配置网络

最好是配置桥接,当然有时候很蛋疼,桥接了网络连不上,那只好配置NAT

2:安装JAVA的jdk

yum install java-1.6.0-openjdk

yum install java-1.6.0-openjdk-devel

安装完之后 whereis java

java: /usr/bin/java /etc/java /usr/lib/java

3:寻找hadoop安装包,先找个旧版本stable试试

mkdir work

cd work

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-1.x86_64.rpm 

rpm2cpio hadoop-1.2.1-1.x86_64.rpm | cpio –div

会产生usr,etc,var三个目录

4:配置

cd work/etc/hadoop

vim hadoop-env.sh

将注释掉的改成export JAVA_HOME=/usr

这里我就直接环境变量设置成系统的,你可以自行修改

vim core-site.xml

中间添加如下几行

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

vim hdfs-site.xml

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

vim mapred-site.xml

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

cp –r work/etc work/usr

5:验证

ssh-keygen –t rsa

所有选择全部按回车键。因为hadoop需要无密码登陆作为datanode的节点,而现在是单节点,所以namenode和datanode都是当前节点,所以要生成无需密码登陆的SSH

cd ~/.ssh

id_rsa.pub是公钥,id_rsa是密钥

cat id_rsa.put >> authorized_keys

chmod 600 authorized_keys

测试,如果SSH不需要输入密码,那么就设置成功:

ssh localhost

6:启动

可以先将hadoop添加到系统环境变量里,执行起来方便

export PATH=/yourpath/work/usr/bin:/yourpath/work/usr/sbin:$PATH

格式化namenode:

hadoop namenode format

sh work/usr/sbin/start-all.sh

假如执行报错,可能是sbin目录下有的hadoop文件权限不够,可以直接chmod 777再试试

这样hadoop就运行起来了,可以通过pgrep java查看启动的进程

发表回复