脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → 数据库其它 → Hive导入csv文件

Hive导入csv文件示例

 更新时间：2022年06月23日 14:27:36   作者：鸭梨山大哎  
这篇文章主要为大家介绍了Hive导入csv文件示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

正文

现有文件为csv格式,需要导入hive中,设csv内容如下

1001,zs,23
1002,lis,24

首先创建表

create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile ;

导入数据及查询

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

其他注意事项

如果建表是parquet格式可否load导入csv文件?

drop table csv2;
create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as parquet ;

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

使用时会报错

Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://192.168.10.101:8020/user/hive/warehouse/csv2/csv2.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 50, 52, 10]

**不可以,需要先导入成textfile,之后再从临时表导入成parquet,**如下

drop table csv2;
create table if not exists csv2
(
    uid   int,
    uname string,
    age   int
)
    row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    stored as textfile;
-- 先导入csv文件到表格csv2,保存格式是textfile
load data local inpath '/data/csv2.csv' into table csv2;


drop table csv3;
-- 创建csv3,保存格式parquet
create table if not exists csv3
(
    uid   int,
    uname string,
    age   int
)
    row format delimited
        fields terminated by ','
    stored as parquet;
-- 提取csv2的数据插入到csv3
insert overwrite table csv3 select * from csv2;

总结

  • 关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerde
  • csv要保存到hive的parquet,需要先保存成textfile

以上就是Hive导入csv文件示例的详细内容，更多关于Hive导入csv文件的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • SQL中日期格式处理方法大全

    SQL中日期格式处理方法大全

    这篇文章主要给大家介绍了关于SQL中日期格式处理方法的相关资料,在SQL中日期格式化非常重要的,因日期SQL中的一个基数据类型,我们可以使用函数和选项来格式化日期,使用日期函数来处理日期数据,需要的朋友可以参考下
    2023-09-09
  • sql注入报错之注入原理实例解析

    sql注入报错之注入原理实例解析

    所谓报错注入,就是通过运行SQL查询语句回显查询结果,下面这篇文章主要给大家介绍了关于sql注入报错之注入原理的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-06-06
  • SQL查询的底层运行原理深入分析

    SQL查询的底层运行原理深入分析

    这篇文章主要给大家介绍了关于SQL查询的底层运行原理，文中通过实例代码结束的非常详细，对大家学习或者使用SQL具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2020-08-08
  • Python使用RethinkDB总结

    Python使用RethinkDB总结

    最近一个项目要用到文档数据库，顺便关注了一下 NoSQL 方面的消息。当前几个比较流行的文档数据库引擎有 MongoDB, CouchDB, OrientDB 等，朋友推荐的是 MongoDB 和 RethinkDB
    2014-03-03
  • 使用Navicat导入和导出sql语句的图文教程

    使用Navicat导入和导出sql语句的图文教程

    Navicat是MySQL非常好用的可视化管理工具,功能非常强大,能满足我们日常数据库开发的所有需求,下面这篇文章主要给大家介绍了关于使用Navicat导入和导出sql语句的相关资料,需要的朋友可以参考下
    2023-03-03
  • RBAC简介_动力节点Java学院整理

    RBAC简介_动力节点Java学院整理

    这篇文章主要介绍了RBAC简介，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-08-08
  • SQL的各种连接Join案例详解

    SQL的各种连接Join案例详解

    SQL JOIN 子句用于把来自两个或多个表的行结合起来，基于这些表之间的共同字段，下面就为大家分享一下
    2020-09-09
  • mybatis 项目配置文件实例详解

    mybatis 项目配置文件实例详解

    这篇文章主要介绍了mybatis 项目配置文件实例详解的相关资料,需要的朋友可以参考下
    2017-03-03
  • Redis和Memcache的区别总结

    Redis和Memcache的区别总结

    这篇文章主要介绍了Redis和Memcache的区别,用三个总结来说明Redis和Memcache的区别,需要的朋友可以参考下
    2014-05-05
  • OceanBase自动生成回滚SQL的全过程(数据库变更时)

    OceanBase自动生成回滚SQL的全过程(数据库变更时)

    在开发中,数据的变更与维护工作一般较频繁,当我们执行数据库的DML操作时,必须谨慎考虑变更对数据可能产生的后果,以及变更是否能够顺利执行,所以本文给大家介绍了数据库变更时,OceanBase如何自动生成回滚 SQL,需要的朋友可以参考下
    2024-04-04

最新评论