使用实现python连接hive数仓的示例代码

更新时间：2024年03月08日 08:29:28 作者：凤毛麟角编程

这篇文章主要为大家详细介绍了使用实现python连接hive数仓的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

1 版本参数

查看hadoop和hive的版本号

ls -l /opt
# 总用量 3
# drwxr-xr-x  11 root  root  227 1月  26 19:23 hadoop-3.3.6
# drwxr-xr-x  10 root  root  205 2月  12 18:53 hive-3.1.3
# drwxrwxrwx.  4 root  root   32 2月  11 22:19 tmp

查看java版本号

java -version
# java version "1.8.0_391"
# Java(TM) SE Runtime Environment (build 1.8.0_391-b13)
# Java HotSpot(TM) 64-Bit Server VM (build 25.391-b13, mixed mode)

查看mysql版本号

mysql --version
# mysql  Ver 8.0.35 for Linux on x86_64 (MySQL Community Server - GPL)

2 启动环境

启动hadoop集群

start-all.sh
# WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
# Starting namenodes on [ml]
# 上一次登录：三 3月  6 23:34:59 CST 2024tty1 上
# Starting datanodes
# 上一次登录：三 3月  6 23:37:56 CST 2024pts/0 上
# Starting secondary namenodes [ml]
# 上一次登录：三 3月  6 23:38:01 CST 2024pts/0 上
# Starting resourcemanager
# 上一次登录：三 3月  6 23:38:30 CST 2024pts/0 上
# Starting nodemanagers
# 上一次登录：三 3月  6 23:39:01 CST 2024pts/0 上

查看hadoop集群状态

jps|sort
# 2337 NameNode
# 2548 DataNode
# 3161 ResourceManager
# 3379 NodeManager
# 5654 Jps

启动hiveserver2服务

nohup hiveserver2 &
# [1] 7486
# (pyspark) (base) [root@~ ~]# nohup: 忽略输入并把输出追加到"nohup.out"
#

检测hiveserver2状态

jps|grep 7486
# 7486 RunJar

检测thrift端口号状态

netstat -anp|grep 10000
# tcp6    0    0 :::10000    :::*    LISTEN    7486/java

3 安装环境

安装python第三方库

conda install sasl
conda install thrift
conda install thrift-sasl
conda install pyhive
conda install sqlalchemy
conda install pandas

使用everything检索sasl2文件夹并打开该文件夹

在open git bash here窗口查看sasl2里面的文件

ls
# saslANONYMOUS.dll*  saslLOGIN.dll*  saslPLAIN.dll*   saslSQLITE.dll*
# saslCRAMMD5.dll*    saslNTLM.dll*   saslSASLDB.dll*  saslSRP.dll*
# saslDIGESTMD5.dll*  saslOTP.dll*    saslSCRAM.dll*

创建C:/CMU/bin/sasl2文件夹

拷贝当前文件夹的dll文件到C:/CMU/bin/sasl2文件夹中

mkdir -p C:/CMU/bin/sasl2
cp ./* C:/CMU/bin/sasl2/

4 读取数据

编写python脚本连接hive数仓

import pandas as pd
from pyhive import hive
from sqlalchemy import create_engine

engine = create_engine('hive://root:ml123456@ml:10000/default?auth=LDAP')
df = pd.read_sql_query('show databases',con=engine)
df.head()

能看到数据库名记录就证明连接成功

到此这篇关于使用实现python连接hive数仓的示例代码的文章就介绍到这了,更多相关python连接hive数仓内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python
hive

Python用 matplotlib 绘制柱状图
这篇文章主要介绍了Python如何用 matplotlib 绘制柱状图，文章对matplotlib模块中详细学习绘制各种柱状图标相关属性和方法，在遇到需要直观展示离散数据点的差异时，我们可以使用bar()或者barh()绘制美观的图表。具有一定的参考价值,需要的朋友可以参考一下
2021-12-12
超详细注释之OpenCV旋转图像任意角度
这篇文章主要介绍了OpenCV旋转图像任意角度，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-09-09
详解Python如何循环遍历Numpy中的Array
Numpy是Python中常见的数据处理库，是数据科学中经常使用的库。在本文中，我们将学习如何迭代遍历访问矩阵中的元素，需要的可以参考一下
2022-04-04
Django Admin设置应用程序及模型顺序方法详解
这篇文章主要介绍了Django Admin设置应用程序及模型顺序方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-04-04
python GUI库图形界面开发之PyQt5中QWebEngineView内嵌网页与Python的数据交互传参详细方法
这篇文章主要介绍了python GUI库图形界面开发之PyQt中QWebEngineView内嵌网页与Python的数据交互详细方法实例,需要的朋友可以参考下
2020-02-02
macbook如何彻底删除python的实现方法
本文主要介绍了macbook如何彻底删除python的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-07-07
Django批量向admin注册模型方法详解
这篇文章主要为大家介绍了Django批量向admin注册模型方法详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-06-06
selenium环境搭建及基本元素定位方式详解
selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题，这篇文章主要介绍了selenium环境搭建及基本元素定位方式,需要的朋友可以参考下
2023-04-04
django框架基于模板生成 excel(xls) 文件操作示例
这篇文章主要介绍了django框架基于模板生成 excel(xls) 文件操作,结合具体实例形式分析了Django框架基于模板生成excel的实现步骤与相关操作技巧,需要的朋友可以参考下
2019-06-06
Python 使用 prettytable 库打印表格美化输出功能
这篇文章主要介绍了Python 使用 prettytable 库打印表格美化输出功能，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-12-12