如何在python中写hive脚本

 更新时间:2019年11月08日 14:28:03   作者:静悟生慧  
这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0) 

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Python中三种时间格式转换的方法

    Python中三种时间格式转换的方法

    本文主要介绍了Python中三种时间格式转换的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04
  • Pytorch之上/下采样函数torch.nn.functional.interpolate插值详解

    Pytorch之上/下采样函数torch.nn.functional.interpolate插值详解

    这篇文章主要介绍了Pytorch之上/下采样函数torch.nn.functional.interpolate插值,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2025-04-04
  • Python简单获取网卡名称及其IP地址的方法【基于psutil模块】

    Python简单获取网卡名称及其IP地址的方法【基于psutil模块】

    这篇文章主要介绍了Python简单获取网卡名称及其IP地址的方法,结合实例形式分析了Python基于psutil模块针对本机网卡硬件信息的读取操作简单使用技巧,需要的朋友可以参考下
    2018-05-05
  • windows下Pycharm安装opencv的多种方法

    windows下Pycharm安装opencv的多种方法

    这篇文章主要介绍了windows下Pycharm安装opencv的多种方法,本文给大家分享四种方法,每种方法通过实例代码给大家介绍的非常详细,需要的朋友可以参考下
    2020-03-03
  • python缩进长度是否统一

    python缩进长度是否统一

    在本篇内容里小编给大家整理的是一篇关于python缩进长度是否统一的相关知识点,需要的朋友们可以学习下。
    2020-08-08
  • Python面试题之统计哈希列表中最多元素

    Python面试题之统计哈希列表中最多元素

    这篇文章主要为大家讲解Python面试题中的如何统计哈希列表中最多的元素,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家面试成功
    2021-09-09
  • Python正则表达式知识汇总

    Python正则表达式知识汇总

    本文介绍了Python正则表达式的相关基础知识,本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式,这些主题请查看其他教程。
    2017-09-09
  • Python利用Turtle库绘制一颗樱花树

    Python利用Turtle库绘制一颗樱花树

    后唐李煜曾说道,樱花落尽春将困,秋千架下归时。漏暗斜月迟迟,花在枝。樱花落尽的时候春天也将过去了,秋千架下归去时。天上的斜月姗姗来迟,花还在枝头。本文将用Python+Turtle绘制一颗樱花树,感兴趣的可以尝试一下
    2022-04-04
  • Python本地搭建静态Web服务器的实现

    Python本地搭建静态Web服务器的实现

    本文主要介绍了Python本地搭建静态Web服务器的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • OpenCV灰度化之后图片为绿色的解决

    OpenCV灰度化之后图片为绿色的解决

    这篇文章主要介绍了OpenCV灰度化之后图片为绿色的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12

最新评论