脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python访问hdfs

python访问hdfs的操作

 更新时间：2020年06月06日 10:02:07   作者：gdolphinw  
这篇文章主要介绍了python访问hdfs的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

pip install hdfs

python 读取hdfs目录或文件

import hdfs
 
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
  status=client.status(fileDir,False)
  if status:
    print (status)
    rst=client.download(fileDir,"/home/dev/gewei")
    print (rst)
exception Exception as e:
  print (e)

补充知识：用python访问hdfs出现webhdfs找不到的情况

有可能是webhdfs服务没有开启

向hdfs-site.xml文件中添加属性：

<property> 
  <name>dfs.webhdfs.enabled</name> 
  <value>true</value> 
</property>

可以使用如下命令检测，

获得目录的列表：

curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"

以上这篇python访问hdfs的操作就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 浅谈dataframe两列相乘构造新特征

    浅谈dataframe两列相乘构造新特征

    这篇文章主要介绍了dataframe两列相乘构造新特征，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-05-05
  • Python实现的微信公众号群发图片与文本消息功能实例详解

    Python实现的微信公众号群发图片与文本消息功能实例详解

    这篇文章主要介绍了Python实现的微信公众号群发图片与文本消息功能,结合实例形式详细分析了Python调用微信接口实现微信公众号群发图片与文本消息的具体操作步骤与相关注意事项,需要的朋友可以参考下
    2017-06-06
  • Python中标准模块importlib详解

    Python中标准模块importlib详解

    这篇文章主要给大家详细介绍了Python中标准模块importlib的使用方法和示例，非常简单，有需要的小伙伴可以参考下
    2017-04-04
  • Django用户认证系统 组与权限解析

    Django用户认证系统 组与权限解析

    这篇文章主要介绍了Django用户认证系统 组与权限解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • python用dataframe将csv中的0值数据转化为nan缺失值字样

    python用dataframe将csv中的0值数据转化为nan缺失值字样

    本文主要介绍了python用dataframe将csv中的0值数据转化为nan缺失值字样，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-08-08
  • python用pandas数据加载、存储与文件格式的实例

    python用pandas数据加载、存储与文件格式的实例

    今天小编就为大家分享一篇python用pandas数据加载、存储与文件格式的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • 详解Scrapy Redis入门实战

    详解Scrapy Redis入门实战

    这篇文章主要介绍了详解Scrapy Redis入门实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • python命令行执行脚本找不到模块ModuleNotFoundError问题

    python命令行执行脚本找不到模块ModuleNotFoundError问题

    这篇文章主要介绍了python命令行执行脚本找不到模块ModuleNotFoundError问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-06-06
  • 使用Django搭建web服务器的例子(最最正确的方式)

    使用Django搭建web服务器的例子(最最正确的方式)

    今天小编就为大家分享一篇使用Django搭建web服务器的例子(最最正确的方式)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • python之DataFrame实现excel合并单元格

    python之DataFrame实现excel合并单元格

    这篇文章主要为大家详细介绍了python之DataFrame实现excel合并单元格，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-04-04

最新评论