Hadoop3.2.0集群搭建常见注意事项

 更新时间:2020年11月16日 14:43:36   作者:侯赛雷  
这篇文章主要介绍了Hadoop3.2.0集群搭建常见注意事项,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

一 端口变化

3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问

二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation

hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath属性

<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>

四 salave文件编程workers文件了,内容配置是一样的

五 启动成功不报错,但最蛋疼的Live Nodes为0问题

解决步骤:

一 先查看datanode 日志:

如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:

一看

这里配置的连接地址有问题

hdfs应该配置成namnode的地址,不能配置成datanode的地址,所有节点都一样,这个地址,配置完成重启成功

网上还有说/etc/hots解析不成功的,这个也是一个原因,配置好域名映射就可以了,重要的是先看日志分析是什么问题

最后成功页面

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 502 bad gateway是什么意思 502 bad gateway错误解决方法

    502 bad gateway是什么意思 502 bad gateway错误解决方法

    简单来说 502 是报错类型代码 bad getway 错误的网关,连接超时 我们向服务器器发送请求 由于服务器当前链接太多,导致服务器方面无法给于正常的响应,产生此类报错
    2013-03-03
  • Cache-control使用Cache-control:private学习笔记

    Cache-control使用Cache-control:private学习笔记

    网页缓存由 HTTP消息头中的Cache-control控制,常见取值有private、no-cache、max-age、must- revalidate等,默认为private
    2013-02-02
  • Web性能压力测试工具Siege使用教程

    Web性能压力测试工具Siege使用教程

    本文主要介绍了多线程http负载测试和基准测试工具Siege以及Siege的安装以及使用说明,有需要的朋友可以参考下
    2014-11-11
  • 一文概括6种负载均衡技术的实现方式(小结)

    一文概括6种负载均衡技术的实现方式(小结)

    这篇文章主要介绍了一文概括6种负载均衡技术的实现方式(小结),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-05-05
  • Zabbix 上Windows性能监控的方法

    Zabbix 上Windows性能监控的方法

    这篇文章主要介绍了Zabbix 上Windows性能监控,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • Web压力测试工具:http_load、webbench、ab、Siege使用方法

    Web压力测试工具:http_load、webbench、ab、Siege使用方法

    这篇文章主要介绍了Web压力测试工具:http_load、webbench、ab、Siege使用教程,需要的朋友可以参考下
    2015-09-09
  • 用nginx+FastDFS一步步搭建文件管理系统

    用nginx+FastDFS一步步搭建文件管理系统

    FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务
    2020-10-10
  • linux下安装Squid代理的详细配置教程

    linux下安装Squid代理的详细配置教程

    在一些特定的情况下,我们需要做些代理来设置完成我们的一些目的,大家常见的代理软件为Squid代理软件,目前redhat5.5的linux已经自带了Squid代理软件,但是有的linux系统是没有的,那么下面总结下我在linux下配置Squid代理的具体安装步骤,供大家学习参考
    2012-09-09
  • Zookeeper未授权访问测试问题

    Zookeeper未授权访问测试问题

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。这篇文章主要介绍了Zookeeper未授权访问测试,需要的朋友可以参考下
    2019-10-10
  • Etag和Expires 性能调优

    Etag和Expires 性能调优

    本文对页面中Etag和Expires标识处理,使得页面更加有效被Cache
    2013-01-01

最新评论