配置hive元数据到Mysql中的全过程记录

 更新时间:2020年10月04日 10:09:05   作者:孙晨c  
这篇文章主要给的大家介绍了关于配置hive元数据到Mysql中的全过程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • 在hive的安装目录下,进入conf目录,创建一个hive-site.xml文件
  • 根据官方文档配置参数,拷贝数据到hive-site.xml文件中
    https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

注意:先创建一个metastore数据库,字符集要用latin1


将mysql驱动复制到hive的lib目录里。(这有关上一篇安装MySQL的内容)

解压驱动包

将mysql驱动复制到hive的lib目录里

启动hive(别忘了先启动hdfs和yarn~~)

start-dfs.sh
start-yarn.sh
hive

创建一张表,试试看元数据能否保存到MySQL里

查看一下metastore库

TBLS表


COLUMNS_V2表


DBS表

从上图中,可得知

元数据的结构

  1. 表的信息都存储在tbls表中,通过db_id和dbs表中的库进行外键约束!
  2. 库的信息都存储在dbs表中!
  3. 字段信息存在在column_v2表中,通过CD_ID和表的主键进行外键约束!

总结

到此这篇关于配置hive元数据到Mysql中的全过程的文章就介绍到这了,更多相关配置hive元数据到Mysql内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 在Linux系统安装MySql步骤截图详解

    在Linux系统安装MySql步骤截图详解

    本文给大家介绍的是linux系统下使用官方编译好的二进制文件进行安装MySql的安装过程和安装截屏,这种安装方式速度快,安装步骤简单。需要的朋友可以参考下在Linux系统安装MySql步骤截图详解
    2016-10-10
  • MySQL CHAR和VARCHAR该如何选择

    MySQL CHAR和VARCHAR该如何选择

    MySQL 支持字符串的数据类型并不多,但是却有多种变化形式。MySQL 5.0以后更是支持每一列字符串可以有自己的字符集以及排序规则,这使得数据表设计更为复杂。本篇介绍字符类型的数据表字段 CHAR 和 VARCHAR 该如何选择。
    2021-05-05
  • MySQL约束条件及设置方式

    MySQL约束条件及设置方式

    文章主要介绍了数据库中约束条件的设置,包括主键约束、自增约束、非空约束、唯一性约束、无符合约束、默认约束和外键约束,以及如何在数据库中设置这些约束条件
    2025-01-01
  • mysql 加了 skip-name-resolve不能链接数据库问题的解决方法

    mysql 加了 skip-name-resolve不能链接数据库问题的解决方法

    这篇文章主要介绍了mysql 加了 skip-name-resolve不能链接数据库问题的解决方法,需要的朋友可以参考下
    2016-04-04
  • 初始化MySQL用户(删除匿名用户)

    初始化MySQL用户(删除匿名用户)

    安装完MySQL后,系统默认会创建一个不需要密码的root用户,和一个无用户名无密码的匿名用户(Anonymous Account)。进行下面的初始化操作以合理授权,增强安全
    2016-01-01
  • MySQL 5.7.29 + Win64 解压版 安装教程图文详解

    MySQL 5.7.29 + Win64 解压版 安装教程图文详解

    这篇文章主要介绍了MySQL 5.7.29 + Win64 解压版 安装教程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-05-05
  • 详解MySQL如何使用离线模式维护服务器

    详解MySQL如何使用离线模式维护服务器

    这篇文章主要为大家介绍了MySQL如何使用离线模式维护服务器,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-10-10
  • MYSQL索引建立需要注意以下几点细节

    MYSQL索引建立需要注意以下几点细节

    建立MYSQL索引时需要注意以下几点:建立索引的时机/对于like/对于有多个条件的/开启索引缓存/建立索引是有代价的等等,感兴趣的你可以参考下本文,或许可以帮助到你
    2013-03-03
  • 在VB.NET应用中使用MySQL的方法

    在VB.NET应用中使用MySQL的方法

    这篇文章主要介绍了在VB.NET应用中使用MySQL的方法,操作基于Visual Studio IDE进行,需要的朋友可以参考下
    2015-06-06
  • mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

    mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

    文章主要介绍了如何从.frm和.ibd文件恢复MySQL InnoDB表结构和数据,需要的朋友可以参考下
    2025-03-03

最新评论