如何在Win10系统使用Python3连接Hive
更新时间：2020年10月15日 15:12:53 作者：陆勤_数据人网
这篇文章主要介绍了如何在Win10系统使用Python3连接Hive，帮助大家更好的利用python读取数据，进行探索、分析和挖掘工作。感兴趣的朋友可以了解下
由于数据存放在大数据平台的Hive数据仓库中，我需要在Win10系统上利用Python3连接Hive，然后读取数据，进行探索、分析和挖掘工作。
我通过网上查找资料和实际测试，把Win10系统Python3成功连接Hive配置总结如下。
第一步：安装依赖库
pip install bitarray pip install bit_array pip install thrift pip install thriftpy pip install pure_sasl pip install --no-deps thrift-sasl==0.2.1
提示：若是无法安装，也可以点击如下网址，
https://www.lfd.uci.edu/~gohlke/pythonlibs/
选择合适库的whl下载，然后进行本地化安装。
第二步：安装impyla库
我采用本地化安装方式，先下载impyla库的whl，如下图：
再安装
pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl
提示：上面的绝对路径根据你自己的情况而定
第三步：测试impyla库是否可以使用
from impala.dbapi import connect #用来连接Hive的函数 from impala.util import as_pandas #用来把数据结构转换为pandas
若是运行通过，表示利用impala连接Hive配置成功。
简单示例：
从Hive的一张表读取100条记录，放到pandas的DataFrame里面。
参考代码：
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()
参考资料
https://github.com/cloudera/impyla
以上就是如何在Win10系统使用Python3连接Hive的详细内容，更多关于Python3连接Hive的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了浅谈Python的正则表达式,正则表达式本身是独立于编程语言的知识，但是它又依附于编程语言,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了基于python实现ROC曲线绘制广场解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
在本篇文章里小编给大家整理的是关于Python中SQLite的简单应用详解，需要的朋友们可以学习下。2020-05-05
下面小编就为大家分享一篇python创建列表和向列表添加元素的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2017-12-12
这篇文章主要介绍了python实现彩票系统，主要采用面向对象的方法，信息存储方式采用pickle模块来进行存储，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-08-08
python中CURL 和python requests的相互转换实现
本文主要介绍了python中CURL 和python requests的相互转换实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
这篇文章主要介绍了Python中求对数方法总结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-03-03
python 字符串转列表 list 出现\ufeff的解决方法
下面小编就为大家带来一篇python 字符串转列表 list 出现\ufeff的解决方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-06-06
这篇文章主要介绍了python的三目运算符和not in运算符使用示例,需要的朋友可以参考下2014-03-03
这篇文章主要介绍了python 三元运算符使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
最新评论