python处理数据,存进hive表的方法

 更新时间:2018年07月04日 15:08:24   作者:小鱼人儿   我要评论
今天小编就为大家分享一篇python处理数据,存进hive表的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

首先,公司的小组长给了我一个任务,把一个txt的文件中的部分内容,存进一个在hive中已有的表的相同结构的表中。所以我的流程主要有三个,首先,把数据处理成和hive中表相同结构的数据,然后仿照已有的hive中表的结构再创建一张新的数据表,最后把本地的txt文件上传到hive中新建的数据表中。

1:已有的数据表的结构和在hive表中的结构完全对不上,下面的图是原来hive中表的结构和小组长给我的txt中表的结构:

大家可以看出,我们原来的hive中表的字段一共有17个,而组长给我的表中的字段一共有9个,其中最后一个为json结构,而且顺序还不对,所以我们要进行筛选,把对应上的字段放到相应位置,对应不上的字段写成空。

大家要注意几个地方,原来的数据是按照tab来划分的,所以我们要数好对应的tab的数目,好来计算出来数据的实际的位置信息,然后我们按照原来hive表中的数据顺序,重新排列我们新建表的数据的顺序,下面给大家看看结果:

其中line[0]=null,line[1]=102,大家以此类推。

3:我们把本地的txt文件导入到hive表中。首先我们要新建一个和原来hive表中相同结构的数据表,然后把我们的数据导入到表中,

hive> creat table new_sft(x1 string,x2 string ,...,xn string) partitioned by (d string);

建好表之后,把数据导入到新表之中:

hive> load data local inpath‘/home/opendev/1.txt' into table new_sft;

最后给大家看看我的最终的结果:

以上这篇python处理数据,存进hive表的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python append、extend与insert的区别

    python append、extend与insert的区别

    这篇文章主要介绍了python append、extend与insert的区别的相关资料,初学者对这几个概念经常搞混,这里就帮大家理清楚,需要的朋友可以参考下
    2016-10-10
  • python里 super类的工作原理详解

    python里 super类的工作原理详解

    这篇文章主要介绍了python里 super类的工作原理详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • python中使用mysql数据库详细介绍

    python中使用mysql数据库详细介绍

    这篇文章主要介绍了python中使用mysql数据库详细介绍,本文起讲解了安装mysql、安装MySQL-python、mysql 的基本操作、python 操作mysql数据库基础等内容,需要的朋友可以参考下
    2015-03-03
  • Python 分发包中添加额外文件的方法

    Python 分发包中添加额外文件的方法

    这篇文章主要介绍了Python 分发包中添加额外文件的方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • 浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法

    浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法

    这篇文章主要介绍了浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10
  • python学习之面向对象【入门初级篇】

    python学习之面向对象【入门初级篇】

    Python从第一天开始就是面向对象的语言。正因为如此,创建和使用类和对象是非常地容易。这篇文章主要介绍了python中面向对象的相关资料,属于python面向对象学习的初级篇,本章将帮助您在使用Python面向对象编程的技术方面所有提高,有需要的朋友可以参考借鉴。
    2017-01-01
  • python实现拓扑排序的基本教程

    python实现拓扑排序的基本教程

    拓扑排序是对有向无环图的一种排序,发现自己并没有真的理解拓扑排序,再次学习了下,所以下面这篇文章主要给大家介绍了关于python实现拓扑排序的基本教程,文中通过示例代码介绍的非常详细,需要的朋友可以参考下,
    2018-03-03
  • Flask框架踩坑之ajax跨域请求实现

    Flask框架踩坑之ajax跨域请求实现

    这篇文章主要介绍了Flask框架踩坑之ajax跨域请求实现,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-02-02
  • 用Python实现协同过滤的教程

    用Python实现协同过滤的教程

    这篇文章主要介绍了用Python实现协同过滤的教程,主要用于从大数据中抽取用户信息偏好等等,需要的朋友可以参考下
    2015-04-04
  • Python使用django搭建web开发环境

    Python使用django搭建web开发环境

    这篇文章主要为大家详细介绍了Python使用django搭建web开发环境,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-06-06

最新评论