centos6.5 安装hadoop1.2.1的教程详解【亲测版】

 更新时间:2018年08月09日 10:30:09   作者:生心无住  
这篇文章主要介绍了centos6.5 安装hadoop1.2.1的教程详细,该教程小编亲测过,非常不错,值得推荐给大家,需要的朋友可以参考下

本篇只简单介绍安装步骤

 1. 角色分配

10.11.84.4 web-crawler--1.novalocal master/slave
10.11.84.5 web-crawler--2.novalocal slave
10.11.84.6 web-crawler--3.novalocal slave

2.安装目录 /usr/local/hadoop (HADOOP_HOME)

3,创建group hadoop

groupadd hadoop

4.创建用户hadoop

useradd -d /home/hadoop -g hadoop hadoop
chown -R hadoop:hadoop /usr/local/hadoop

5. 每台机器安装jdk(安装在相同的目录)

1)查看java 版本,可以看到jdk为openjdk,最好更换为sun jdk

[hadoop@hadoop2 ~]$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[hadoop@hadoop2 ~]$ rpm -qa | grep java
java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
tzdata-java-2017b-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch

2)卸载openjdk

rpm -qa | grep java | xargs yum -y remove

3)安装sunjdk

/usr/local 目录下解压jdk-8u181-linux-i586.tar.gz 并命名为jdk

配置环境变量如下

vim /etc/profile  末尾添加如下内容

export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export PATH=${JAVA_HOME}/bin:${PATH}
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:${CLASSPATH} 

4)查看jdk是否安装成功

[root@hadoop2 local]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

6. master 到 slave ssh 免密码登录

在每台机器hadoop用户下执行如下命令

[hadoop@hadoop1 ~]$ ssh-keygen -t rsa -P '' #一路直接回车
发送master 机器~/.ssh/id_rsa.pub 到所有slave节点
Scp id_rsa.pub hadoop@10.11.84.5:~
Scp id_rsa.pub hadoop@10.11.84.6:~
让后在每台slave节点hadoop 用户下执行如下命令
Cd ~/.ssh
Cat ../id_rsa.pub >> authorized_keys
Chmod 644 authorized_keys

7.关闭所有机器防火墙、selinux

1)centos 7 以下

防火墙
查看防火墙状态
service iptables status
临时关闭防火墙
service iptables stop
永久关闭防火墙
chkconfig iptables off
 selinux
setenforce 0 #临时关闭
永久关闭需要修改如下文件
vim /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled

2)centos 7

firewall-cmd --reload #重启firewall
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
selinux 同上

8.修改hadoop配置文件

Core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" rel="external nofollow" rel="external nofollow" rel="external nofollow" ?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://web-crawler--1.novalocal:9000</value>
</property>
</configuration>
hadoop-env.sh 添加java_home
 export JAVA_HOME=/usr/local/jdk
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" rel="external nofollow" rel="external nofollow" rel="external nofollow" ?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data</value>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" rel="external nofollow" rel="external nofollow" rel="external nofollow" ?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
 <property>
    <name>mapred.job.tracker</name>
    <value>http://web-crawler--1.novalocal:9001</value>;;;
  </property>
<property>
    <name>mapred.system.dir</name>
    <value>/home/hadoop/mapred/system</value>
  </property>
<property>
    <name>mapred.local.dir</name>
    <value>/home/hadoop/mapred/local</value>
  </property>
</configuration>

5)masters

web-crawler--1.novalocal

6)slaves

web-crawler--1.novalocal
web-crawler--2.novalocal 
web-crawler--3.novalocal

9. 修改环境变量,添加HADOOP_HOME 和JAVA_HOME

Vim /etc/profile (root)
export ANT_HOME=/usr/local/ant
export PATH=${PATH}:${ANT_HOME}/bin
export HADOOP_HOME=/usr/local/hadoop-1.2.1
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=/usr/local/lib/phantomjs/bin:$PATH
export ANT_HOME=/usr/local/ant
export PATH=${PATH}:${ANT_HOME}/bin
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

10.启动hadoop

1)在master上format namenode

hadoop namenode -format

2)启动hadoop

sh /user/local/hadoop/bin/start-all.sh 

11.进行简单测试

Hadoop fs -mkdir -p /user/hadoop/private/in
Hadoop fs -put /user/local/hadoop/bin/start-all.sh /user/hadoop/private/in
Cd /usr/local/hadoop
Hadoop jar hadoop-examples-1.2.1.jar wordcount /user/hadoop/private/in /user/hadoop/private/out

总结

以上所述是小编给大家介绍的centos6.5 安装hadoop1.2.1的教程详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • 详解Linux 安装 JDK、Tomcat 和 MySQL(图文并茂)

    详解Linux 安装 JDK、Tomcat 和 MySQL(图文并茂)

    本文会详细介绍 Windows 上安装虚拟机之后,如何在 Linux 中安装 JDK、Tomcat 和 MySQL 的过程,有兴趣的可以了解一下
    2017-08-08
  • centos下samba文件夹共享服务器配置详解

    centos下samba文件夹共享服务器配置详解

    这篇文章主要介绍了centos下samba文件夹共享服务器配置详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • 确保Linux服务器安全 防范四种级别攻击

    确保Linux服务器安全 防范四种级别攻击

    以下的文章主要描述的是防范四种级别攻击确保Linux服务器安全,如果你对防范四种级别攻击确保Linux服务器安全心存好奇的话,以下的文章将会揭开它的神秘面纱。
    2011-03-03
  • Linux 6下安装编译安装Nginx的步骤

    Linux 6下安装编译安装Nginx的步骤

    这篇文章主要介绍了Linux 6下安装编译安装Nginx的步骤的相关资料,希望通过本文能帮助到大家,需要的朋友可以参考下
    2017-10-10
  • CentOS 7下部署php7.1和开启MySQL扩展的方法教程

    CentOS 7下部署php7.1和开启MySQL扩展的方法教程

    这篇文章主要给大家介绍了关于CentOS 7下部署php7.1和开启MySQL扩展的方法教程,文中通过示例代码介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧。
    2017-07-07
  • CentOS 7 安装Chrome浏览器的方法

    CentOS 7 安装Chrome浏览器的方法

    这篇文章主要介绍了CentOS 7 安装Chrome浏览器的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12
  • Linux中gpio接口的使用方法示例

    Linux中gpio接口的使用方法示例

    这篇文章主要给大家介绍了关于Linux中gpio接口的使用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-11-11
  • arm linux利用alsa驱动并使用usb音频设备

    arm linux利用alsa驱动并使用usb音频设备

    这篇文章主要介绍了arm linux利用alsa驱动并使用usb音频设备的相关资料,需要的朋友可以参考下
    2017-10-10
  • Linux定时任务Crontab详解(推荐)

    Linux定时任务Crontab详解(推荐)

    本篇文章主要介绍了Linux定时任务Crontab详解,具有一定的参考价值,感兴趣的小伙伴们可以参考一下。
    2016-12-12
  • Linux一键安装web环境全攻略(阿里云服务器)

    Linux一键安装web环境全攻略(阿里云服务器)

    这篇文章主要介绍了Linux一键安装web环境全攻略,这些都是阿里云出的方便站长架设php运行环境的工具,需要的朋友可以参考下
    2016-10-10

最新评论