如何在python中写hive脚本

 更新时间:2019年11月08日 14:28:04   作者:静悟生慧   我要评论
这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0) 

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 对python中return和print的一些理解

    对python中return和print的一些理解

    最近看到视频中讲到python中的print和return的区别,感到一些迷惑,所以自己上手实践了一把,下面这篇文章主要给大家介绍了关于对python中return和print的一些理解,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-08-08
  • python使用marshal模块序列化实例

    python使用marshal模块序列化实例

    这篇文章主要介绍了python使用marshal模块序列化的方法,是非常实用的技巧,需要的朋友可以参考下
    2014-09-09
  • Python中的上下文管理器相关知识详解

    Python中的上下文管理器相关知识详解

    这篇文章主要介绍了Python中的上下文管理器相关知识详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • Python设计模式之外观模式实例详解

    Python设计模式之外观模式实例详解

    这篇文章主要介绍了Python设计模式之外观模式,结合实例形式详细分析了外观模式的概念、原理、用法及相关操作注意事项,需要的朋友可以参考下
    2019-01-01
  • Python文件读写常见用法总结

    Python文件读写常见用法总结

    今天小编就为大家分享一篇关于Python文件读写常见用法总结,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • python代码打印100-999之间的回文数示例

    python代码打印100-999之间的回文数示例

    今天小编就为大家分享一篇python代码打印100-999之间的回文数示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • JavaScript中的模拟事件和自定义事件实例分析

    JavaScript中的模拟事件和自定义事件实例分析

    这篇文章主要介绍了JavaScript中的模拟事件和自定义事件,结合实例形式分析了JavaScript模拟事件和自定义事件相关操作步骤、实现技巧与注意事项,需要的朋友可以参考下
    2018-07-07
  • Python 进程之间共享数据(全局变量)的方法

    Python 进程之间共享数据(全局变量)的方法

    今天小编就为大家分享一篇Python 进程之间共享数据(全局变量)的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • 详解Python编程中包的概念与管理

    详解Python编程中包的概念与管理

    这篇文章主要介绍了Python编程中包的概念与管理,包括包管理工具pip的基本安装使用,需要的朋友可以参考下
    2015-10-10
  • Python生成8位随机字符串的方法分析

    Python生成8位随机字符串的方法分析

    这篇文章主要介绍了Python生成8位随机字符串的方法,结合实例形式对比分析了2种比较常用的随机字符串生成技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2017-12-12

最新评论