python 操作hive pyhs2方式

 更新时间:2019年12月21日 15:59:13   作者:bigdataf  
今天小编就为大家分享一篇python 操作hive pyhs2方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

使用kerberos时

import pyhs2

class HiveClient:
  # 初始化
  def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN", configuration=None):
    self.conn = pyhs2.connect(host=db_host,
                 port=port,
                 authMechanism=authMechanism,
                 user=user,
                 password=password,
                 database=database,
                 configuration=configuration,
                 )

  # 查询方法
  def query(self, sql):
    with self.conn.cursor() as cursor:
      cursor.execute(sql)
      return cursor.fetch()

  def close(self):
    self.conn.close()


def getHiveData(sql):
  config = {"mapreduce.job.queuename": "default", 'krb_host': 'hiveserve2ip', 'krb_service': 'hive'}
  hive_client = HiveClient(db_host='hiveserve2ip', port=10000, user='user@kdc.com', password='hive', database='dw.usee',
               authMechanism='KERBEROS', configuration=config)
  print sql
  result = hive_client.query(sql)
  return result
Could not start SASL: Error in sasl_client_start (-1) SASL(-1)

安装

yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

pyhs2 安装 sasl问题

yum install cyrus-sasl-devel 
yum install cyrus-sasl-lib 
yum install libgsasl-devel 
yum install saslwrapper

对接superset hive kerberos

SQLAlchemy URI

hive://herverser2ip:10000/db

扩展 连接参数

{
  "metadata_params": {},
  "engine_params": {
    "connect_args": {
    "auth": "KERBEROS",
        "kerberos_service_name": "hive",
    "username" : "user@KDC.COM"
    }
  }
}

以上这篇python 操作hive pyhs2方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python使用Pycharm必备插件推荐(非常好用!)

    Python使用Pycharm必备插件推荐(非常好用!)

    首先我们要知道pycharm是一款非常强大的python集成开发环境,带有一整套python开发工具,这篇文章主要给大家介绍了关于Python使用Pycharm必备插件推荐的相关资料,需要的朋友可以参考下
    2023-11-11
  • python实现自动清理重复文件

    python实现自动清理重复文件

    这篇文章主要介绍了python如何实现自动清理重复文件,帮助大家更好的理解和学习python,感兴趣的朋友可以了解下
    2020-08-08
  • 基于python+pandoc实现html批量转word

    基于python+pandoc实现html批量转word

    pandoc是一个强大的文档格式转换工具,支持丰富的格式转换,并尽可能的保留原来的排版,号称文档格式转换的瑞士军刀,本文将给大家介绍一下使用python搭配pandoc实现html批量转word,感兴趣的朋友可以参考阅读下
    2023-09-09
  • Selenium常见八大定位法总结

    Selenium常见八大定位法总结

    自动化最基础的就属于定位元素了,元素不会定位,基本上已经团灭了,就不用再去考虑什么自动化了,下面这篇文章主要给大家介绍了关于Selenium常见八大定位法的相关资料,需要的朋友可以参考下
    2023-02-02
  • 使用Python将数组的元素导出到变量中(unpacking)

    使用Python将数组的元素导出到变量中(unpacking)

    最近工作中遇到一个问题,需要利用Python将数组(list)或元组(tuple)中的元素导出到N个变量中,现在将我实现的方法分享给大家,有需要的朋友们可以参考借鉴,下面来一起看看吧。
    2016-10-10
  • Python利用wxPython实现ocr识别图片汉字程序

    Python利用wxPython实现ocr识别图片汉字程序

    在这篇博客中,我们将介绍一个如何使用wxPython构建的简单OCR识别图片汉字应用程序,文章的示例代码讲解详细,感兴趣的小伙伴可以学习一下
    2023-08-08
  • python将人民币转换大写的脚本代码

    python将人民币转换大写的脚本代码

    python将人民币转换大写的代码,有需要的朋友可以参考下
    2013-02-02
  • Python+matplotlib实现简单曲线的绘制

    Python+matplotlib实现简单曲线的绘制

    Matplotlib是Python的绘图库,它能让使用者很轻松地将数据图形化,并且提供多样化的输出格式。本文将利用matplotlib绘制简单的曲线图,感兴趣的朋友可以学习一下
    2022-04-04
  • VSCode中autopep8无法运行问题解决方案(提示Error: Command failed,usage)

    VSCode中autopep8无法运行问题解决方案(提示Error: Command failed,usage)

    这篇文章主要介绍了VSCode中autopep8无法运行问题解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03
  • 详解python进行mp3格式判断

    详解python进行mp3格式判断

    这篇文章主要介绍了详解python进行mp3格式判断,具有一定的参考价值,有兴趣的可以了解一下。
    2016-12-12

最新评论