使用实现python连接hive数仓的示例代码

更新时间：2024年03月08日 08:29:28 作者：凤毛麟角编程

这篇文章主要为大家详细介绍了使用实现python连接hive数仓的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

1 版本参数

查看hadoop和hive的版本号

ls -l /opt
# 总用量 3
# drwxr-xr-x  11 root  root  227 1月  26 19:23 hadoop-3.3.6
# drwxr-xr-x  10 root  root  205 2月  12 18:53 hive-3.1.3
# drwxrwxrwx.  4 root  root   32 2月  11 22:19 tmp

查看java版本号

java -version
# java version "1.8.0_391"
# Java(TM) SE Runtime Environment (build 1.8.0_391-b13)
# Java HotSpot(TM) 64-Bit Server VM (build 25.391-b13, mixed mode)

查看mysql版本号

mysql --version
# mysql  Ver 8.0.35 for Linux on x86_64 (MySQL Community Server - GPL)

2 启动环境

启动hadoop集群

start-all.sh
# WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
# Starting namenodes on [ml]
# 上一次登录：三 3月  6 23:34:59 CST 2024tty1 上
# Starting datanodes
# 上一次登录：三 3月  6 23:37:56 CST 2024pts/0 上
# Starting secondary namenodes [ml]
# 上一次登录：三 3月  6 23:38:01 CST 2024pts/0 上
# Starting resourcemanager
# 上一次登录：三 3月  6 23:38:30 CST 2024pts/0 上
# Starting nodemanagers
# 上一次登录：三 3月  6 23:39:01 CST 2024pts/0 上

查看hadoop集群状态

jps|sort
# 2337 NameNode
# 2548 DataNode
# 3161 ResourceManager
# 3379 NodeManager
# 5654 Jps

启动hiveserver2服务

nohup hiveserver2 &
# [1] 7486
# (pyspark) (base) [root@~ ~]# nohup: 忽略输入并把输出追加到"nohup.out"
#

检测hiveserver2状态

jps|grep 7486
# 7486 RunJar

检测thrift端口号状态

netstat -anp|grep 10000
# tcp6    0    0 :::10000    :::*    LISTEN    7486/java

3 安装环境

安装python第三方库

conda install sasl
conda install thrift
conda install thrift-sasl
conda install pyhive
conda install sqlalchemy
conda install pandas

使用everything检索sasl2文件夹并打开该文件夹

在open git bash here窗口查看sasl2里面的文件

ls
# saslANONYMOUS.dll*  saslLOGIN.dll*  saslPLAIN.dll*   saslSQLITE.dll*
# saslCRAMMD5.dll*    saslNTLM.dll*   saslSASLDB.dll*  saslSRP.dll*
# saslDIGESTMD5.dll*  saslOTP.dll*    saslSCRAM.dll*

创建C:/CMU/bin/sasl2文件夹

拷贝当前文件夹的dll文件到C:/CMU/bin/sasl2文件夹中

mkdir -p C:/CMU/bin/sasl2
cp ./* C:/CMU/bin/sasl2/

4 读取数据

编写python脚本连接hive数仓

import pandas as pd
from pyhive import hive
from sqlalchemy import create_engine

engine = create_engine('hive://root:ml123456@ml:10000/default?auth=LDAP')
df = pd.read_sql_query('show databases',con=engine)
df.head()

能看到数据库名记录就证明连接成功

到此这篇关于使用实现python连接hive数仓的示例代码的文章就介绍到这了,更多相关python连接hive数仓内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python
hive

Python自动化测试框架之unittest使用详解
unittest是Python自动化测试框架之一，提供了一系列测试工具和接口，支持单元测试、功能测试、集成测试等多种测试类型。unittest使用面向对象的思想实现测试用例的编写和管理，可以方便地扩展和定制测试框架，支持多种测试结果输出格式
2023-04-04
用Python制作灯光秀短视频的思路详解
这篇文章主要介绍了用Python制作灯光秀短视频的思路详解，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧
2021-04-04
使用Python+Splinter自动刷新12306火车票
一年一度的春运又来了,今年我自己写了个抢票脚本,下面小编给大家分享使用Python+Splinter自动刷新12306火车票,需要的朋友参考下吧
2018-01-01
利用Python的sympy包求解一元三次方程示例
今天小编就为大家分享一篇利用Python的sympy包求解一元三次方程示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-11-11
在Python中实现Redis键值对添加和删除的操作指南
本指南详解了Python中Redis键值对操作,对比DELETE与UNLINK性能差异,推荐使用UNLINK处理大型数据,结合管道和过期时间优化效率,强调连接复用与内存管理,需要的朋友可以参考下
2025-08-08
Python numpy ndarray属性,索引,切片
这篇文章主要介绍了Python numpy ndarray属性,索引,切片,文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-09-09
pytorch读取图像数据转成opencv格式实例
这篇文章主要介绍了pytorch读取图像数据转成opencv格式实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-06-06
解决Python安装后pip不能用的问题
今天小编就为大家分享一篇解决Python安装后pip不能用的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-06-06
Python通过命令开启http.server服务器的方法
这篇文章主要给大家介绍了关于Python通过命令开启http.server服务器的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们随着小编来一起学习学习吧。
2017-11-11
Python获取文件所在目录和文件名的方法
下面小编就为大家带来一篇Python获取文件所在目录和文件名的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-01-01