脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python hdfs上传下载

完美解决python针对hdfs上传和下载的问题

 更新时间：2020年06月05日 17:33:28   作者：huanbia  
这篇文章主要介绍了完美解决python针对hdfs上传和下载的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中

修改/etc/hosts文件，将各个集群节点ip映射加上即可，如博主所示

vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01

补充知识：python上传文件到hadoop异常问题

使用库：pyhdfs

调用方法：

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

异常现象1如下图：

异常现象2如下图：

异常现象3如下图：

原因分析：可以看出，以上都是连接成功了，但是上传或者下载失败了，造成这种现象的原因是

我这里连接的是name节点，端口50070，当调用copy_from_local（）时，name节点会主动去连接data节点进行数据读写操作，而data节点端口50075没有开启，造成data节点连接超时，抛出异常

解决办法：开启data节点端口

以上这篇完美解决python针对hdfs上传和下载的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 对python-3-print重定向输出的几种方法总结

    对python-3-print重定向输出的几种方法总结

    今天小编就为大家分享一篇对python-3-print重定向输出的几种方法总结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • python读取多类型文件夹中的文档内容

    python读取多类型文件夹中的文档内容

    无论我们使用哪种编程语言,处理文件对于每个程序员都是必不可少的,本文主要介绍了python读取多类型文件夹中的文档内容,具有一定的参考价值,感兴趣的可以了解一下
    2024-03-03
  • python中正则表达式findall的用法实例

    python中正则表达式findall的用法实例

    在写着自动化测试的脚本时重新复习了一下正则表达式findall()方法,下面这篇文章主要给大家介绍了关于python中正则表达式findall用法的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-09-09
  • 深入了解python的函数参数

    深入了解python的函数参数

    这篇文章主要为大家介绍了python的函数参数，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
    2021-12-12
  • python 开心网和豆瓣日记爬取的小爬虫

    python 开心网和豆瓣日记爬取的小爬虫

    我本科有个很幽默风趣的量子力学老师，他说了很多批话，跟个公知似的。他的很多文章都放在了开心网（kaixin001.com）上，为了留个纪念，用爬虫保存下来
    2021-05-05
  • Python实现求解最大公约数的五种方法总结

    Python实现求解最大公约数的五种方法总结

    求最大公约数是习题中比较常见的类型，本文小编将给大家提供五种比较常见的算法，都是用Python语言实现的，感兴趣的小伙伴可以了解一下
    2022-07-07
  • Pyside2中嵌入Matplotlib的绘图的实现

    Pyside2中嵌入Matplotlib的绘图的实现

    这篇文章主要介绍了Pyside2中嵌入Matplotlib的绘图的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • Python NumPy灰度图像的压缩原理讲解

    Python NumPy灰度图像的压缩原理讲解

    在本篇文章里小编给大家整理的是一篇关于Python NumPy灰度图像的压缩原理讲解内容，有兴趣的朋友们可以学习参考下。
    2021-08-08
  • 对Python函数设计规范详解

    对Python函数设计规范详解

    今天小编就为大家分享一篇对Python函数设计规范详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python序列化pickle模块使用详解

    Python序列化pickle模块使用详解

    这篇文章主要介绍了Python序列化pickle模块使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03

最新评论