完美解决python针对hdfs上传和下载的问题

更新时间：2020年06月05日 17:33:28 作者：huanbia

这篇文章主要介绍了完美解决python针对hdfs上传和下载的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中

修改/etc/hosts文件，将各个集群节点ip映射加上即可，如博主所示

vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01

补充知识：python上传文件到hadoop异常问题

使用库：pyhdfs

调用方法：

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

异常现象1如下图：

异常现象2如下图：

异常现象3如下图：

原因分析：可以看出，以上都是连接成功了，但是上传或者下载失败了，造成这种现象的原因是

我这里连接的是name节点，端口50070，当调用copy_from_local（）时，name节点会主动去连接data节点进行数据读写操作，而data节点端口50075没有开启，造成data节点连接超时，抛出异常

解决办法：开启data节点端口

以上这篇完美解决python针对hdfs上传和下载的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python 如何读取字典的所有键-值对
这篇文章主要介绍了Python 读取字典的所有键-值对操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-05-05
Django项目中添加ldap登陆认证功能的实现
这篇文章主要介绍了Django项目中添加ldap登陆认证功能的实现，详细介绍了django-auth-ldap的使用方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2019-04-04
python实现串口通信的示例代码
python实现串口通信是一件简单的事情,只要通过pyserial模块就可以实现,本文主要介绍了python实现串口通信的示例代码,感兴趣的可以了解一下
2023-10-10
Python学习笔记（二）基础语法
对于任何一门语言的学习，学语法是最枯燥无味的，但又不得不学，基础概念较繁琐，本文将不多涉及概念解释，用例子进行相关解析，适当与C语言对比，避免陷入语法的苦海。我认为初学者学习语法的目标是学会使用即可，关于对概念的深入理解，剖析，没有一定的知识积累是很难做到的。
2014-06-06
Python中出现"No module named 'requests'"
这篇文章主要给大家介绍了关于Python中出现"No module named 'requests'"的解决办法,"No module named requests"是Python报错提示,意味着你在使用某个Python程序或脚本时，没有找到名为requests的模块,需要的朋友可以参考下
2023-11-11
Python matplotlib绘图时使用鼠标滚轮放大/缩小图像
Matplotlib是Python程序员可用的事实上的绘图库,虽然它比交互式绘图库在图形上更简单,但它仍然可以一个强大的工具,下面这篇文章主要给大家介绍了关于Python matplotlib绘图时使用鼠标滚轮放大/缩小图像的相关资料,需要的朋友可以参考下
2022-05-05
python Bamboolib库加速Pandas数据分析过程详解
这篇文章主要介绍了python Bamboolib库加速Pandas数据分析过程详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2024-01-01
Python简单生成随机数的方法示例
这篇文章主要介绍了Python简单生成随机数的方法,结合实例形式分析了Python基于random模块生成随机数的相关操作技巧,需要的朋友可以参考下
2018-03-03
windows下python安装paramiko模块和pycrypto模块（简单三步）
这篇文章主要给大家介绍了通过简单的三个步骤在windows下python中安装paramiko模块和pycrypto模块的相关资料，文中安装的步骤，简单而且又易于大家理解，需要的朋友们下面跟着小编一起来学习学习吧。
2017-07-07
python:pandas合并csv文件的方法(图书数据集成)
下面小编就为大家分享一篇python:pandas合并csv文件的方法(图书数据集成)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-04-04