如何在python中写hive脚本

 更新时间:2019年11月08日 14:28:03   作者:静悟生慧  
这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0) 

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 一文教你学会使用Python中的多处理模块

    一文教你学会使用Python中的多处理模块

    Python 多处理模块是一个强大的工具,用于实现并行处理,提高程序的性能和效率,本文将详细介绍 Python 中多处理模块的使用方法,希望对大家有所帮助
    2024-01-01
  • Python数据结构之栈、队列的实现代码分享

    Python数据结构之栈、队列的实现代码分享

    这篇文章主要介绍了Python数据结构之栈、队列的实现代码分享,具有一定参考价值,需要的朋友可以了解下。
    2017-12-12
  • pytorch+sklearn实现数据加载的流程

    pytorch+sklearn实现数据加载的流程

    这篇文章主要介绍了pytorch+sklearn实现数据加载,之前在训练网络的时候加载数据都是稀里糊涂的放进去的,也没有理清楚里面的流程,今天整理一下,加深理解,也方便以后查阅,需要的朋友可以参考下
    2022-11-11
  • Window10上Tensorflow的安装(CPU和GPU版本)

    Window10上Tensorflow的安装(CPU和GPU版本)

    这篇文章主要介绍了Window10上Tensorflow的安装(CPU和GPU版本),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • 详解win10下pytorch-gpu安装以及CUDA详细安装过程

    详解win10下pytorch-gpu安装以及CUDA详细安装过程

    这篇文章主要介绍了win10下pytorch-gpu安装以及CUDA详细安装过程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • python Zmail模块简介与使用示例

    python Zmail模块简介与使用示例

    这篇文章主要介绍了python Zmail模块简介与使用示例,帮助大家利用python收发邮件,感兴趣的朋友可以了解下
    2020-12-12
  • 详解Python3序列赋值、序列解包

    详解Python3序列赋值、序列解包

    这篇文章主要介绍了Python3序列赋值、序列解包的相关知识,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-05-05
  • 简单讲解Python中的字符串与字符串的输入输出

    简单讲解Python中的字符串与字符串的输入输出

    这篇文章主要介绍了Python中的字符串与字符串的输入输出,Python3.x版本中默认以Unicode为编码,省去了不少麻烦,需要的朋友可以参考下
    2016-03-03
  • Python常用扩展插件使用教程解析

    Python常用扩展插件使用教程解析

    这篇文章主要介绍了Python常用扩展插件使用教程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • Python实现提取语句中的人名

    Python实现提取语句中的人名

    这篇文章主要为大家介绍一个小工具:可以将语句中的人名提取出来。文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下
    2022-01-01

最新评论