解决hive建表出现中文乱码的问题

 更新时间:2026年04月01日 09:54:20   作者:大手你不懂  
文章详细介绍了Hive建表中文乱码问题的解决方法,包括判断存储格式和数据编码是否为UTF-8,修改MySQL元数据库的编码格式,配置Hive的字符集编码,在Hive建表语句中设置字符集编码等

解决hive建表中文乱码问题

问题:

关于中文乱码问题,我们可以从以下几个方面进行考虑:

(1)判断hive表的存储格式是否是UTF-8:

  • 如果hive表的存储格式不是UTF-8,也会导致中文乱码。

(2)判断输入的数据,其编码格式是否是中文字符集UTF-8:

  • hive默认使用UTF-8编码,如果输入的中文字符集与UTF-8不一致,就会出现乱码。
  • 比如通过JDBC的方式连接,其是否设置了编码格式为UTF-8

(3)判断hive的所依赖的mysql元数据库的编码格式是否是UTF-8

  • 因为为了提高读写速度,不用依次去读hive的HDFS文件,所以一般依赖元数据库都是mysql。
  • 所以需要判断hive元数据库mysql中是否设置了编码格式

1、修改hive元数据库的编码格式,这里以元数据库为mysql为例

1.1 进入 etc目录下打开 my.cnf 文件 ,对 my.cnf 添加以下语句:

[client]
default-character-set=utf8
[mysqld]
default-storage-engine=INNODB
character-set-server=utf8
collation-server=utf8_general_ci

完成之后,重启mysql,再进入到mysql查看修改是否成功

1.2 在 mysql 修改hive元数据表注释和字段注释的编码为 utf-8

(1)命令行的形式

  • 修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
  • 修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
  • 修改索引注解
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

(2)也可在数据库可视化工具(例如dbeaver)设置COLUMNS_V2 、TABLE_PARAMS 、PARTITION_PARAMS 、PARTITION_KEYS 的编码格式为utf-8

2、在 Hive 的配置文件 hive-site.xml 中

我们可以通过指定字符集编码来解决中文乱码问题。

以下是一个示例:

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
    <description>database username for metastore</description>
</property>

在这个示例中,我们通过设置 useUnicode=truecharacterEncoding=UTF-8 来指定使用 UTF-8 字符集编码。

此外,在 hive-site.xml 配置文件中,也可以通过以下两个参数来指定字符集编码:

<property>
  <name>hive.cli.print.header</name>
  <value>true</value>
  <description>Whether to print the names of the columns in query output.</description>
</property>
<property>
  <name>hive.cli.encoding</name>
  <value>UTF-8</value>
  <description>Character-set encoding for various CLI output data such as console output, logs, reports.</description>
</property>
<property>
  <name>hive.charset</name>
  <value>utf8</value>
  <description>The character set encoding to use for data read/write operations.</description>
</property>

在这个示例中,我们通过设置 hive.cli.encoding 参数的值为 UTF-8 来指定字符集编码。这个参数可用于指定各种 CLI 输出数据的字符集编码,例如控制台输出、日志和报告等。

需要注意的是,在进行配置时,建议采用统一的字符集编码,以确保所有代码能够正常工作。

结果展示:

3、直接在建表语句中设置字符集,但这不一定能生效

当hive建表字段注释中出现中文乱码时,可能是因为字符集编码不匹配所导致的。我们可以在建表语句中指定字符集编码来解决这个问题。以下是一个示例:

CREATE TABLE mytable (
  id INT COMMENT '编号',
  name STRING COMMENT '姓名'
)
COMMENT '学生信息表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
TBLPROPERTIES (
  'serialization.null.format' = '',
  'charset'='utf8', -- 指定字符集编码为UTF-8
  'orc.compress'='SNAPPY'
);

在这个示例中,我们在建表语句中加入了 'charset'='utf8' 参数,来指定字符集编码为 UTF-8。

这样就能确保 Hive 能够正确地解析中文字符,从而避免乱码问题。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • SQL基础教程之行转列Pivot函数

    SQL基础教程之行转列Pivot函数

    这篇文章主要给大家介绍了关于SQL基础教程之行转列Pivot函数的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用SQL具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-09-09
  • SQL关系模型的知识梳理总结

    SQL关系模型的知识梳理总结

    这篇文章主要为大家介绍了SQL关系模型,文中对SQL关系模型的知识作了详细的梳理总结,有需要的朋友可以借鉴参考下希望能够有所帮助
    2021-10-10
  • postgresql 按小时分表(含触发器)的实现方式

    postgresql 按小时分表(含触发器)的实现方式

    这篇文章主要介绍了postgresql 按小时分表(含触发器)的实现方式,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • 详解SQLite中的查询规划器

    详解SQLite中的查询规划器

    这篇文章主要介绍了详解SQLite中的查询规划器,SQLite是一个开源的嵌入式数据库,需要的朋友可以参考下
    2015-07-07
  • dbeaver批量导出数据到另一个数据库的详细图文教程

    dbeaver批量导出数据到另一个数据库的详细图文教程

    DBeaver是一款数据库管理软件,小巧易用,最主要其官方版就可以满足平常得任务需求,这篇文章主要给大家介绍了关于dbeaver批量导出数据到另一个数据库的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2024-03-03
  • hadoop map-reduce中的文件并发操作

    hadoop map-reduce中的文件并发操作

    hadoop mapreduce最主要的应用是基于键值对的数据的运算,过滤,提取。但除此之外,我们可以顺带利用mapreduce高并发的特性做一些用常用方法难以处理的问题,比如大量数据,大量文件的并发读写
    2014-04-04
  • SQL之Join的使用详解

    SQL之Join的使用详解

    关于sql语句中的连接(join)关键字,是较为常用而又不太容易理解的关键字,下面就为大家介绍一下相关资料,需要的朋友可以参考下
    2020-09-09
  • DataGrip 连接 HiveServer2 报错的问题

    DataGrip 连接 HiveServer2 报错的问题

    这篇文章主要介绍了DataGrip 连接 HiveServer2 报错的问题,本文通过图文实例相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-09-09
  • SQL查询语法知识梳理总结

    SQL查询语法知识梳理总结

    这篇文章主要为大家介绍了关于SQL查询语法的知识梳理总结,文中附含详细的查询语法示例,有需要的朋友可以借鉴参考下,希望能够有所帮助
    2021-10-10
  • powerdesigner for mysql脚本要求字段、表名有注释操作

    powerdesigner for mysql脚本要求字段、表名有注释操作

    在PowerDesigner中,可以通过修改DBMS设置为MySQL数据库添加字段和表名的注释,具体步骤包括编辑当前的DBMS设置,并在相应的Script选项下调整Column和Table的配置,本文给大家介绍powerdesigner for mysql脚本要求字段、表名有注释操作,感兴趣的朋友跟随小编一起看看吧
    2023-07-07

最新评论