使用实现python连接hive数仓的示例代码

更新时间：2024年03月08日 08:29:28 作者：凤毛麟角编程

这篇文章主要为大家详细介绍了使用实现python连接hive数仓的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

1 版本参数

查看hadoop和hive的版本号

ls -l /opt
# 总用量 3
# drwxr-xr-x  11 root  root  227 1月  26 19:23 hadoop-3.3.6
# drwxr-xr-x  10 root  root  205 2月  12 18:53 hive-3.1.3
# drwxrwxrwx.  4 root  root   32 2月  11 22:19 tmp

查看java版本号

java -version
# java version "1.8.0_391"
# Java(TM) SE Runtime Environment (build 1.8.0_391-b13)
# Java HotSpot(TM) 64-Bit Server VM (build 25.391-b13, mixed mode)

查看mysql版本号

mysql --version
# mysql  Ver 8.0.35 for Linux on x86_64 (MySQL Community Server - GPL)

2 启动环境

启动hadoop集群

start-all.sh
# WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
# Starting namenodes on [ml]
# 上一次登录：三 3月  6 23:34:59 CST 2024tty1 上
# Starting datanodes
# 上一次登录：三 3月  6 23:37:56 CST 2024pts/0 上
# Starting secondary namenodes [ml]
# 上一次登录：三 3月  6 23:38:01 CST 2024pts/0 上
# Starting resourcemanager
# 上一次登录：三 3月  6 23:38:30 CST 2024pts/0 上
# Starting nodemanagers
# 上一次登录：三 3月  6 23:39:01 CST 2024pts/0 上

查看hadoop集群状态

jps|sort
# 2337 NameNode
# 2548 DataNode
# 3161 ResourceManager
# 3379 NodeManager
# 5654 Jps

启动hiveserver2服务

nohup hiveserver2 &
# [1] 7486
# (pyspark) (base) [root@~ ~]# nohup: 忽略输入并把输出追加到"nohup.out"
#

检测hiveserver2状态

jps|grep 7486
# 7486 RunJar

检测thrift端口号状态

netstat -anp|grep 10000
# tcp6    0    0 :::10000    :::*    LISTEN    7486/java

3 安装环境

安装python第三方库

conda install sasl
conda install thrift
conda install thrift-sasl
conda install pyhive
conda install sqlalchemy
conda install pandas

使用everything检索sasl2文件夹并打开该文件夹

在open git bash here窗口查看sasl2里面的文件

ls
# saslANONYMOUS.dll*  saslLOGIN.dll*  saslPLAIN.dll*   saslSQLITE.dll*
# saslCRAMMD5.dll*    saslNTLM.dll*   saslSASLDB.dll*  saslSRP.dll*
# saslDIGESTMD5.dll*  saslOTP.dll*    saslSCRAM.dll*

创建C:/CMU/bin/sasl2文件夹

拷贝当前文件夹的dll文件到C:/CMU/bin/sasl2文件夹中

mkdir -p C:/CMU/bin/sasl2
cp ./* C:/CMU/bin/sasl2/

4 读取数据

编写python脚本连接hive数仓

import pandas as pd
from pyhive import hive
from sqlalchemy import create_engine

engine = create_engine('hive://root:ml123456@ml:10000/default?auth=LDAP')
df = pd.read_sql_query('show databases',con=engine)
df.head()

能看到数据库名记录就证明连接成功

到此这篇关于使用实现python连接hive数仓的示例代码的文章就介绍到这了,更多相关python连接hive数仓内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python
hive

Python selenium 自动化脚本打包成一个exe文件(推荐)
这篇文章主要介绍了Python selenium 自动化脚本打包成一个exe文件，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
2020-01-01
利用Python爬虫给孩子起个好名字
每个人一生中都会遇到一件事情，在事情出现之前不会关心，但是事情一旦来临就发现它极其重要，并且需要在很短的时间内做出重大决定，那就是给自己的新生宝宝起个名字。下面这篇文章主要介绍了如何利用Python爬虫给孩子起个好名字，需要的朋友可以参考下。
2017-02-02
python中Tkinter详细基础教学实例代码
这篇文章主要给大家介绍了关于python中Tkinter详细基础教学的相关资料,文中介绍了如Label、Button、Entry、Text、Frame、Menu、Canvas、Messagebox等的基本属性和用法,并介绍了布局管理器pack、grid和place的使用方法,需要的朋友可以参考下
2024-12-12
对Python发送带header的http请求方法详解
今天小编就为大家分享一篇对Python发送带header的http请求方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-01-01
Python基于twisted实现简单的web服务器
这篇文章主要介绍了Python基于twisted实现简单的web服务器,可模拟出简单的web服务器功能,是很实用的技巧,需要的朋友可以参考下
2014-09-09
python中end=" "的含义及说明
这篇文章主要介绍了python中end=" "的含义及说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-01-01
pandas之关于DataFrame数据类型超好用的方法
这篇文章主要介绍了pandas之关于DataFrame数据类型超好用的方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-11-11
Python使用Dask进行大规模数据处理
在数据科学和数据分析领域,数据集的规模不断增长,传统的单机处理方式往往无法满足需求,为了解决这个问题,Dask应运而生,Dask是一个灵活的并行计算库,可以轻松地处理大规模数据集,本文将介绍Dask的基本概念、安装方法以及如何使用Dask进行高效的数据处理
2024-11-11
python re.match函数的具体使用
本文主要介绍了python re.match函数的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-02-02
如何在python字符串中输入纯粹的{}
这篇文章主要介绍了如何在python字符串中输入纯粹的{}以及python字符串连接的三种方法,需要的朋友可以参考下
2018-08-08