VMware虚拟机下hadoop1.x的安装方法

 更新时间:2017年09月19日 15:14:03   作者:W.Yentl  
这篇文章主要为大家详细介绍了VMware虚拟机下hadoop1.x的安装方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

这是Hadoop学习全程记录第1篇,在这篇里我将介绍一下如何在Linux下安装Hadoop1.x。

先说明一下我的开发环境:

虚拟机:VMware8.0;

操作系统:CentOS6.4;

版本:jdk1.8;hadoop1.2.1

①下载hadoop1.2.1,网盘:链接: https://pan.baidu.com/s/1sl5DMIp 密码: 5p67

下载jdk1.8,网盘:链接: https://pan.baidu.com/s/1boN1gh5 密码: t36h

将 jdk-8u144-linux-x64.tar.gz 解压至 /home/wyt/jdk8 文件夹下,将 hadoop-1.2.1.tar.gz 解压至 /home/wyt/hadoop 文件夹下。

②配置jdk及hadoop环境变量:修改/etc/profile文件

vim /etc/profile
//输入I,进入编辑模式
export JAVA_HOME=/home/wyt/jdk8
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export HADOOP_HOME=/home/wyt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin
//按Esc,按Shift,输入:wq
source /etc/profile //保存并退出

③测试

java,javac,java -version
hadoop

④修改hadoop配置文件

<!-- hadoop-env.sh -->

export JAVA_HOME=/usr/java/jdk8

<!-- core-site.xml -->

 <property>
 <name>hadoop.tmp.dir</name>
 <value>/hadoop</value>
 </property>
 <property>
 <name>dfs.name.dir</name>
 <value>/hadoop/name</value>
 </property>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
 </property>

<!-- hdfs-site.xml -->

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

<!-- mapred-site.xml -->

<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

并在hadoop安装目录下新建data、name、tmp文件夹。

⑤名称节点格式化,并查看运行状态

hadoop namenode -format
//cd 命令切换至 hadoop/bin/文件夹下,输入 ls 命令查看
start-all.sh
jps //查看运行状态,运行正常的话需要多次输入密码
//最后结果为:
//  Jps
//  JobTracker
//  NameNode
//  DataNode
//  SecondaryNameNode
//  NodeManager 

⑥测试hdfs

//常用hdfs命令:
hadoop fs -ls /查看目录
hadoop fs -put a.txt /user/hadoop/放入
hadoop fs -cat /user/hadoop/a.txt 查看内容
hadoop fs -rmr /output:删除文件/文件夹

附:linux常用命令:

cd ..  //返回上级目录
cd ~  //返回Home目录
cd /  //返回根目录
cd var/ //进入var/文件夹下(使用tab)

su -  //超级管理员模式
ifconfig //查看ip

附:其他常用linux操作软件:

//windows与虚拟机centos文件传输:
filezilla;Xftp 5;或者安装VMware Tools(可便捷使用剪切板及文件复制功能)
//脱离虚拟机centos输入命令行:
Xshell 5

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • SpringBoot异步任务实现下单校验库存的项目实践

    SpringBoot异步任务实现下单校验库存的项目实践

    在开发中,异步任务应用的场景非常的广泛,本文主要介绍了SpringBoot异步任务实现下单校验库存的项目实践,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09
  • nodejs连接dubbo服务的java工程实现示例

    nodejs连接dubbo服务的java工程实现示例

    这篇文章主要介绍了在项目迁移中,nodejs连接dubbo服务的java工程实现示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2022-03-03
  • Java TreeMap排序算法实例

    Java TreeMap排序算法实例

    这篇文章主要介绍了Java TreeMap排序算法,结合实例形式分析了TreeMap排序算法的原理、实现方法与相关注意事项,需要的朋友可以参考下
    2017-07-07
  • Java流处理stream使用详解

    Java流处理stream使用详解

    Java8的另一大亮点Stream,它与java.io包里的InputStream和OutputStream是完全不同的概念,下面这篇文章主要给大家介绍了关于Java8中Stream详细使用方法的相关资料,需要的朋友可以参考下
    2022-10-10
  • BigDecimal的加减乘除计算方法详解

    BigDecimal的加减乘除计算方法详解

    小编做题遇到了大数的精确计算,再次认识了bigdecimal关于Bigdecimal意外的有许多小知识点和坑,这里特此整理一下为方便以后学习,希望能帮助到其他的萌新
    2021-08-08
  • java多线程使用mdc追踪日志方式

    java多线程使用mdc追踪日志方式

    这篇文章主要介绍了java多线程使用mdc追踪日志方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-09-09
  • 使用SpringBoot自定义starter详解

    使用SpringBoot自定义starter详解

    这篇文章主要介绍了使用Spring Boot自定义starter详解,文中有非常详细的代码示例,对正在学习java的小伙伴们有很好地帮助哟,需要的朋友可以参考下
    2021-05-05
  • Idea 解决 Could not autowire. No beans of ''xxxx'' type found 的错误提示

    Idea 解决 Could not autowire. No beans of ''xxxx'' type found

    这篇文章主要介绍了Idea 解决 Could not autowire. No beans of 'xxxx' type found 的错误提示,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • Java Socket上的Read操作阻塞问题详解

    Java Socket上的Read操作阻塞问题详解

    这篇文章主要介绍了Java Socket上的Read操作阻塞问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-10-10
  • elasticsearch kibana简单查询讲解

    elasticsearch kibana简单查询讲解

    今天小编就为大家分享一篇关于elasticsearch kibana简单查询讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02

最新评论