python 操作hive pyhs2方式

 更新时间:2019年12月21日 15:59:13   作者:bigdataf  
今天小编就为大家分享一篇python 操作hive pyhs2方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

使用kerberos时

import pyhs2

class HiveClient:
  # 初始化
  def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN", configuration=None):
    self.conn = pyhs2.connect(host=db_host,
                 port=port,
                 authMechanism=authMechanism,
                 user=user,
                 password=password,
                 database=database,
                 configuration=configuration,
                 )

  # 查询方法
  def query(self, sql):
    with self.conn.cursor() as cursor:
      cursor.execute(sql)
      return cursor.fetch()

  def close(self):
    self.conn.close()


def getHiveData(sql):
  config = {"mapreduce.job.queuename": "default", 'krb_host': 'hiveserve2ip', 'krb_service': 'hive'}
  hive_client = HiveClient(db_host='hiveserve2ip', port=10000, user='user@kdc.com', password='hive', database='dw.usee',
               authMechanism='KERBEROS', configuration=config)
  print sql
  result = hive_client.query(sql)
  return result
Could not start SASL: Error in sasl_client_start (-1) SASL(-1)

安装

yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

pyhs2 安装 sasl问题

yum install cyrus-sasl-devel 
yum install cyrus-sasl-lib 
yum install libgsasl-devel 
yum install saslwrapper

对接superset hive kerberos

SQLAlchemy URI

hive://herverser2ip:10000/db

扩展 连接参数

{
  "metadata_params": {},
  "engine_params": {
    "connect_args": {
    "auth": "KERBEROS",
        "kerberos_service_name": "hive",
    "username" : "user@KDC.COM"
    }
  }
}

以上这篇python 操作hive pyhs2方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python轻松查到删除自己的微信好友

    python轻松查到删除自己的微信好友

    这篇文章主要介绍了python脚本快速查看自己被多少微信好友删除的方法,感兴趣的小伙伴们可以参考一下
    2016-01-01
  • python将多个文本文件合并为一个文本的代码(便于搜索)

    python将多个文本文件合并为一个文本的代码(便于搜索)

    源代码目录一般很详细,每个代码文件都不长,一般只占几十行而已。在跟着书籍学习的过程中,可以打开源代码运行之后查看效果,或者适当修改看看变化,这都是很好的掌握技术的好办法。
    2011-03-03
  • python中使用pymssql库操作MSSQL数据库

    python中使用pymssql库操作MSSQL数据库

    这篇文章主要给大家介绍了关于python中使用pymssql库操作MSSQL数据库的相关资料,最近在学习python,发现好像没有对pymssql的详细说明,于是乎把官方文档学习一遍,重要部分做个归档,方便以后查阅,需要的朋友可以参考下
    2023-08-08
  • 利用pandas如何实现类似sql中的left join操作

    利用pandas如何实现类似sql中的left join操作

    这篇文章主要介绍了利用pandas如何实现类似sql中的left join操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • python实现逆滤波与维纳滤波示例

    python实现逆滤波与维纳滤波示例

    今天小编就为大家分享一篇python实现逆滤波与维纳滤波示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • python的特殊语法和常用模块示例详解

    python的特殊语法和常用模块示例详解

    Python确实支持函数式编程,并提供了一些内置的高阶函数,这些函数可以接受其他函数作为参数,从而使代码更加简洁和功能强大,这篇文章主要介绍了python的特殊语法和常用模块详解,需要的朋友可以参考下
    2024-08-08
  • Pycharm Available Package无法显示/安装包的问题Error Loading Package List解决

    Pycharm Available Package无法显示/安装包的问题Error Loading Package Li

    这篇文章主要介绍了Pycharm Available Package无法显示/安装包的问题Error Loading Package List解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • pytorch读取图像数据转成opencv格式实例

    pytorch读取图像数据转成opencv格式实例

    这篇文章主要介绍了pytorch读取图像数据转成opencv格式实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python对象与json数据的转换问题实例详解

    Python对象与json数据的转换问题实例详解

    JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,很受广大用户喜爱,今天通过本文给大家介绍Python对象与json数据的转换问题,需要的朋友可以参考下
    2022-07-07
  • Django文件存储 默认存储系统解析

    Django文件存储 默认存储系统解析

    这篇文章主要介绍了Django文件存储 默认存储系统解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08

最新评论