如何在Win10系统使用Python3连接Hive
更新时间：2020年10月15日 15:12:53 作者：陆勤_数据人网
这篇文章主要介绍了如何在Win10系统使用Python3连接Hive，帮助大家更好的利用python读取数据，进行探索、分析和挖掘工作。感兴趣的朋友可以了解下
由于数据存放在大数据平台的Hive数据仓库中，我需要在Win10系统上利用Python3连接Hive，然后读取数据，进行探索、分析和挖掘工作。
我通过网上查找资料和实际测试，把Win10系统Python3成功连接Hive配置总结如下。
第一步：安装依赖库
pip install bitarray pip install bit_array pip install thrift pip install thriftpy pip install pure_sasl pip install --no-deps thrift-sasl==0.2.1
提示：若是无法安装，也可以点击如下网址，
https://www.lfd.uci.edu/~gohlke/pythonlibs/
选择合适库的whl下载，然后进行本地化安装。
第二步：安装impyla库
我采用本地化安装方式，先下载impyla库的whl，如下图：
再安装
pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl
提示：上面的绝对路径根据你自己的情况而定
第三步：测试impyla库是否可以使用
from impala.dbapi import connect #用来连接Hive的函数 from impala.util import as_pandas #用来把数据结构转换为pandas
若是运行通过，表示利用impala连接Hive配置成功。
简单示例：
从Hive的一张表读取100条记录，放到pandas的DataFrame里面。
参考代码：
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()
参考资料
https://github.com/cloudera/impyla
以上就是如何在Win10系统使用Python3连接Hive的详细内容，更多关于Python3连接Hive的资料请关注脚本之家其它相关文章！
相关文章
在网络爬虫的世界中,数据提取是至关重要的一环,Python 提供了许多强大的工具,其中之一就是 parsel 库,下面我们就来深入学习一下Parsel的两种数据提取方式吧2023-12-12
这篇文章主要介绍了20个实用的Python Excel自动化脚本,用于自动化处理和分析Excel文件,提高工作效率,从批量填充单元格、设置行高与列宽到生成数据透视表和图表,涵盖了数据处理和分析的各个方面,需要的朋友可以参考下2025-02-02
这篇文章主要介绍了浅谈python数据类型及类型转换，介绍了python中的数据类型，以及数据的不可变性，还有字符串，列表等相关内容，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
这篇文章主要介绍了Python解析xml中dom元素的方法,实例分析了Python操作XML中元素的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了定位python内存泄漏问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-11-11
在本篇文章里小编给大家整理的是一篇关于Python制作七夕比心表白代码详解内容，有需要的朋友们可以学习参考下。2021-08-08
今天小编就为大家分享一篇python中csv文件的若干读写方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了如何在Visual Studio Code（VSCode）中编写和运行Python代码,包括安装VSCode、安装Python插件、配置Python环境、创建和运行Python文件、调试Python代码、代码格式化、代码片段、Git集成以及单元测试等,需要的朋友可以参考下2024-12-12
在数学中,三态数（Triangular Number）是一种特殊的数列,它是由自然数按照一定规律排列而成的,本文主要介绍了如何使用Python检查判断一个数字是否是三态数,需要的可以参考下2024-03-03
这篇文章主要介绍了python进程池实现的多进程文件夹copy器,结合完整实例形式分析了Python基于多进程与进程池的文件操作相关实现技巧,需要的朋友可以参考下2019-11-11
最新评论