解读hadoop启动集群之后没有namenode的一种情况
更新时间：2024年10月09日 15:31:01 作者：薯条不蘸番茄酱
在配置Hadoop集群时,IP地址错误可能导致Namenode无法启动,解决方法包括检查并修改配置文件中的IP地址,确保虚拟机间通信无障碍,并适当格式化Namenode和DataNode,详细步骤包括修改hosts文件、配置ssh免密码登录、调整zookeeper配置
先说结论
一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。
但是对于我之前遇到的问题却没法解决。
我的做法是
检查你的hadoop的配置文件是否填写正确
我的hadoop的hdfs-site.xml中的主机IP地址未填写正确
导致启动集群服务后namenode启动不上
hdfs当然也没法用
我的虚拟机会产生这个问题主要是虚拟机的IP地址发生了改变，在这里我简单记录一下发生这种问题怎么处理，也方便我以后参阅。
- 1.首先查明每台虚拟机的IP地址，修改 etc/hosts文件。
- 2.保证每台虚拟机能互ping，ssh免密码登录可以使用。
- 3.修改hadoop文件夹中 etc/hadoop中的core-site.xml、hdfs-site.xml、和zookeeper文件夹（如果安装了zookeeper的话）中的zoo.cfg 文件
- 4.格式化节点（hadoop-2.9.2/bin/hdfs namenode -format），如果所有虚拟机的IP地址都发生了改变，那么就都要格式化，格式化之前要记得清空namenode和DataNode文件夹，并修改namenode和DataNode文件夹的权限（chmod 777 namenode）
- 5.最后再启动集群 hadoop-2.9.2/sbin/start-all.sh，以后关闭集群最好使用stop-all.sh
- 6.先试试用命令上传文件到hdfs是否成功（hadoop-2.9.2/bin/hdfs dfs -put student.txt /tmp/），然后再试着用浏览器访问虚拟机50070端口，如果都能调试成功再试着用java或者python等脚本操作hdfs。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了hadoop格式化HDFS出现错误解决办法的相关资料,hadoop格式化HDFS报错java.net.UnknownHostException，这里提供解决办法，需要的朋友可以参考下2017-09-09
ZeroTier 是一个加密的虚拟骨干网,它的客户端和服务端都是开源且免费的,对于一般的用户,可以用它做内网穿透,将处于不同内网中的主机组成虚拟局域网,这篇文章给大家介绍一键搭建zerotier planet服务器脚本的相关知识,感兴趣的朋友一起看看吧2023-12-12
GitHub是一个免费托管开源代码的远程仓库,但当我们既不想公开源代码,又舍不得给GitHub交保护费时,就需要自己搭建一台Git服务器作为私有仓库使用了,下面我们就来看看具体实现方法吧2023-08-08
网络时间协议，英文名称：Network Time Protocol（NTP）是用来使计算机时间同步化的一种协议，这篇文章主要介绍了Windows搭建NTP时间同步服务器的图文教程，需要的可以收藏一下2023-08-08
Git是一个分布式的版本控制工具，本篇文章从介绍Git开始，重点在于介绍Git的基本命令和使用技巧，让你尝试使用Git的同时，体验到原来一个版本控制工具可以对开发产生如此之多的影响2014-09-09
这篇文章主要介绍了4种VPS主机技术原理及优缺点(VPS独享主机技术原理),需要的朋友可以参考下2015-09-09
这篇文章主要介绍了iSCSI服务器CHAP双向认证配置,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-04-04
这篇文章主要介绍了阿里云快速搭建一个静态网站的方法步骤，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-02-02
TCP socket SYN队列和Accept队列区别原理解析
这篇文章主要介绍了TCP socket SYN队列和Accept队列区别原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-12-12
这篇文章主要介绍了lamp主机是什么 vps如何配置lamp主机,需要的朋友可以参考下2015-10-10
最新评论