Hadoop3.2.0集群搭建常见注意事项
一 端口变化
3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问
二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation
hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath属性
<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>
四 salave文件编程workers文件了,内容配置是一样的
五 启动成功不报错,但最蛋疼的Live Nodes为0问题
解决步骤:
一 先查看datanode 日志:
如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:
一看
这里配置的连接地址有问题
hdfs应该配置成namnode的地址,不能配置成datanode的地址,所有节点都一样,这个地址,配置完成重启成功
网上还有说/etc/hots解析不成功的,这个也是一个原因,配置好域名映射就可以了,重要的是先看日志分析是什么问题
最后成功页面
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
相关文章
服务器中aux,com1,com2,prn,con,nul等特殊文件删除方法
如果你在遇到CON不能删除,PRN不能删除,LPT不能删除,COM1不能删除,COM2不能删除,COM3不能删除,COM4不能删除,COM5不能删除,COM6不能删除,COM7不能除,COM8不能删除,NUL不能删除、AUX不能删除2012-04-04在VPS上用3Proxy架设http代理和socks代理(Ubuntu环境)
前几天记录了在廉价的xen vps主机上通过squid架设http代理的情况,试用效果非常不错。但是现在需要增加socks代理,这方便squid就无能为力了,于是改用传说中的轻量级的NB代理软件3Proxy。2010-07-07MongoDB学习笔记(二) 通过samus驱动实现基本数据操作
传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由(database)、集合(collection)、文档对象(document)三个层次组成2013-07-07windows下文件同步工具 CwRsync 4.0.2 安装配置方法(图文)
这篇文章主要介绍了CwRsync 4.0.2 安装配置方法,需要的朋友可以参考下2015-01-01
最新评论