Hive数据导出详解

 更新时间:2023年04月14日 14:05:04   作者:沧州精神卫生中心张医师  
hive是一个依赖Hadoop集群的数据处理平台,我们不仅需要对数据进行筛选处理,更需要进行导出,供我们多次重复使用,本文主要介绍了hive如何导出数据,感兴趣的小伙伴欢迎阅读

一、数据导出是什么?

hive是一个依赖Hadoop集群的数据处理平台,我们不仅需要对数据进行筛选处理,更需要进行导出,供我们多次重复使用。

二、六大帮派

1.insert

insert有两种形式,加local上传到本地路径,不加local上传到集群

代码如下(示例):

insert加local

insert overwrite local directory '/root/export/data/student' select * from student;

insert不加local(并将数据格式化)
insert overwrite directory '/student' row format delimited fields terminated by ',' select * from student;

2.Hadoop命令导出到本地

代码如下(示例):

hadoop dfs -get /user/hive/warehouse/hive.db/student/student.txt /root/export/data/student/

3.Hive shell命令导出

一个 > 是覆盖,两个>是追加

代码如下(示例):

bin/hive -e 'select * from hive.student' >> /root/export/data/student/student.txt

4.export导出到HDFS上

当该hdfs路径下有文件时或表存在,都不可导,与import连用。

代码如下(示例):

export table hive.student to '/user/hive/warehouse/hive.db/student';

5.Sqoop导出

将数据导出到window系统的mysql,并进行可视化操作

6.清除表中的数据(Truncate)——删库跑路

Truncate只能删除管理表,不能删除外部表的数据(但可以将外部表转为内部表哦,嘿嘿嘿)只是删除内部表的hdfs数据,元数据还在

内部转为外部表
alter table student set tblproperties('EXTERNAL'='TRUE')一定大写

截断表
Truncate table student; 

总结

六大派别与五大帮派共同统治着数码武林,侠义精神深入人心,hive语句妇孺皆知。街头小巷上谈论着他们的英雄事迹,再一次掀起了学习hive秘籍的狂潮。或许现在人们学习的已经不再是傍身之计,更多的是对天下武功,为快不灭的热爱。有人的地方就会就有江湖,大数据时代亦是如此。

到此这篇关于Hive数据导出详解的文章就介绍到这了,更多相关Hive数据导出内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • JetBrains DataGrip安装和使用的详细教程

    JetBrains DataGrip安装和使用的详细教程

    日常开发中少不了各种可视化数据库管理工具。本文介绍另一个十分好用且强大的工具:DataGrip。具有一定的参考价值,感兴趣的可以了解一下
    2021-09-09
  • MySQL与Oracle 差异比较之七用户权限

    MySQL与Oracle 差异比较之七用户权限

    这篇文章主要介绍了MySQL与Oracle 差异比较之七用户权限,需要的朋友可以参考下
    2017-04-04
  • 解决Navicat Premium 15连接数据库闪退的问题

    解决Navicat Premium 15连接数据库闪退的问题

    这篇文章主要介绍了Navicat Premium 15连接数据库闪退,本文给大家分享解决方法,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • 利用Navicat Premium导出数据库表结构信息至Excel的方法

    利用Navicat Premium导出数据库表结构信息至Excel的方法

    这篇文章主要介绍了利用Navicat Premium导出数据库表结构信息至Excel的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • [转载]让SQL运行得更快

    [转载]让SQL运行得更快

    笔者在工作实践中发现,不良的SQL往往来自于不恰当的索引设计、不充份的连接条件和不可优化的where子句。在对它们进行适当的优化后,其运行速度有了明显地提高!下面我将从这三个方面分别进行总结
    2007-02-02
  • 通过DBeaver连接Phoenix操作hbase的方法

    通过DBeaver连接Phoenix操作hbase的方法

    DBeaver 可通过 JDBC 连接到数据库,可以支持几乎所有的数据库产品,本文介绍常用一种通用数据库工具Dbeaver,通过DBeaver连接Phoenix操作hbase的操作,需要的朋友跟随小编一起看看吧
    2021-11-11
  • 浅析sql server 公共表达式的简单应用

    浅析sql server 公共表达式的简单应用

    本文主要对sql server 公共表达式的简单应用进行介绍,具有一定的参考价值,有需要的可以看下
    2016-12-12
  • 关于SQL注入中文件读写的方法总结

    关于SQL注入中文件读写的方法总结

    这篇文章主要给大家介绍了关于SQL注入中文件的读写方法,文中通过示例代码介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。
    2017-03-03
  • 本地SQL注射攻略分析曝光

    本地SQL注射攻略分析曝光

    以后会陆续给大家讲一些本人的入侵经验,一天学一点,这东西虽然我玩腻了,但是还是很想给大家入门时的一些帮助。本地SQL注射,可能很多朋友都没有听说过,下面biweilun为大家讲解下概念及其应用
    2008-07-07
  • Hive常用日期格式转换语法

    Hive常用日期格式转换语法

    这篇文章主要为大家介绍了Hive常用日期格式转换语法的操作示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06

最新评论