Hive导入csv文件示例

 更新时间:2022年06月23日 14:27:36   作者:鸭梨山大哎  
这篇文章主要为大家介绍了Hive导入csv文件示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

正文

现有文件为csv格式,需要导入hive中,设csv内容如下

1001,zs,23
1002,lis,24

首先创建表

create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile ;

导入数据及查询

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

其他注意事项

如果建表是parquet格式可否load导入csv文件?

drop table csv2;
create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as parquet ;

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

使用时会报错

Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://192.168.10.101:8020/user/hive/warehouse/csv2/csv2.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 50, 52, 10]

**不可以,需要先导入成textfile,之后再从临时表导入成parquet,**如下

drop table csv2;
create table if not exists csv2
(
    uid   int,
    uname string,
    age   int
)
    row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    stored as textfile;
-- 先导入csv文件到表格csv2,保存格式是textfile
load data local inpath '/data/csv2.csv' into table csv2;


drop table csv3;
-- 创建csv3,保存格式parquet
create table if not exists csv3
(
    uid   int,
    uname string,
    age   int
)
    row format delimited
        fields terminated by ','
    stored as parquet;
-- 提取csv2的数据插入到csv3
insert overwrite table csv3 select * from csv2;

总结

  • 关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerde
  • csv要保存到hiveparquet,需要先保存成textfile

以上就是Hive导入csv文件示例的详细内容,更多关于Hive导入csv文件的资料请关注脚本之家其它相关文章!

相关文章

  • 数据库服务器构建和部署检查列表详解

    数据库服务器构建和部署检查列表详解

    这篇文章主要介绍了数据库服务器构建和部署检查列表的相关内容,小编觉得挺不错的,这里分享给大家,供各位参考。
    2017-10-10
  • Navicat Premium 15无限试用注册表修改的方法详解

    Navicat Premium 15无限试用注册表修改的方法详解

    这篇文章主要介绍了Navicat Premium 15无限试用注册表修改的方法详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • SQL关系模型的知识梳理总结

    SQL关系模型的知识梳理总结

    这篇文章主要为大家介绍了SQL关系模型,文中对SQL关系模型的知识作了详细的梳理总结,有需要的朋友可以借鉴参考下希望能够有所帮助
    2021-10-10
  • PostgreSQL数据库服务端监听设置及客户端连接方法教程

    PostgreSQL数据库服务端监听设置及客户端连接方法教程

    这篇文章主要介绍了PostgreSQL数据库服务端监听设置及客户端连接方法,需要的朋友可以参考下
    2014-07-07
  • 浅谈三种数据库的 SQL 注入

    浅谈三种数据库的 SQL 注入

    本文主要介绍了浅谈三种数据库的SQL注入,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08
  • SQL语句学习

    SQL语句学习

    丁丁现在在做数据库,可是上学时没有好好的学习SQL的语句,现在每天晚上还要问我,可是我又有好多自己的事情要做,不能天天给她讲(^_^其实我的水品也很一般了),所以先把我以前学习sql语句所记录的一些东东留在这里
    2014-06-06
  • 谈谈数据库的字段设计的几个心得

    谈谈数据库的字段设计的几个心得

    今天小编就为大家分享一篇关于谈谈数据库的字段设计的几个心得,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-03-03
  • GaussDB数据库事务管理及高级应用

    GaussDB数据库事务管理及高级应用

    GaussDB是华为公司开发的一种数据库产品,它是一种分布式关系型数据库管理系统(RDBMS),这篇文章主要给大家介绍了关于GaussDB数据库事务管理及高级应用的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-05-05
  • Navicat卡住一直在执行中的简单解决办法

    Navicat卡住一直在执行中的简单解决办法

    众所周知Navicat是我们常用的连接MYSQL工具,非常方便好用,其实日常中我们也常常会遇到运行时间很长甚至几乎跑不完卡死的情况,这篇文章主要给大家介绍了关于Navicat卡住一直在执行中的简单解决办法,需要的朋友可以参考下
    2023-11-11
  • 设置CA证书来强化PostgreSQL的安全性的教程

    设置CA证书来强化PostgreSQL的安全性的教程

    这篇文章主要介绍了设置CA证书来强化PostgreSQL的安全性的教程,主要用到了CA私钥,需要的朋友可以参考下
    2015-04-04

最新评论