脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → java通过Kerberos认证方式连接hive

java如何通过Kerberos认证方式连接hive

 更新时间：2025年02月11日 09:19:40   作者：只俗不凡  
该文主要介绍了如何在数据源管理功能中适配不同数据源（如MySQL、PostgreSQL和Hive）,特别是如何在SpringBoot3框架下通过Kerberos认证与Hive进行安全交互,文章详细描述了Kerberos认证过程,包括配置krb5.conf和keytab文件、处理Hadoop和Hive版本兼容性问题

在数据源管理功能中，需要适配mysql、postgresql、hive等数据源。

mysql和postgresql连接方式一致，只需要驱动和jdbcurl即可，而hive背后是大数据集群，多采用Kerberos的方式保护集群环境，要想与大数据集群正常交互，需要经过kdc认证获取ticket，因此获取hive连接前需要先通过Kerberos认证

Java实现Kerberos认证

主要方法

# 从keytab文件中加载用户标识并登录
org.apache.hadoop.security.UserGroupInformation#loginUserFromKeytab

依赖

kerberos相关配置文件：krb5.conf、keytab文件从大数据集群管理员那获取

依赖：hive-jdbc:3.1.3（hive安装目录中带有该驱动包，可查看使用的版本）、hadoop-common:3.3.6，版本需和hive服务版本一致，在springboot3的框架下需要排除以下依赖，否则启动报错

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>${hive.jdbc.version}</version>
    <exclusions>
        <exclusion>
            <artifactId>HikariCP-java7</artifactId>
            <groupId>com.zaxxer</groupId>
        </exclusion>
        <exclusion>
            <artifactId>javax.servlet.jsp</artifactId>
            <groupId>org.glassfish.web</groupId>
        </exclusion>
        <exclusion>
            <artifactId>jetty-runner</artifactId>
            <groupId>org.eclipse.jetty</groupId>
        </exclusion>
    </exclusions>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.version}</version>
    <exclusions>
        <exclusion>
            <artifactId>commons-lang3</artifactId>
            <groupId>org.apache.commons</groupId>
        </exclusion>
        <exclusion>
            <artifactId>curator-client</artifactId>
            <groupId>org.apache.curator</groupId>
        </exclusion>
    </exclusions>
</dependency>

示例

String confPath = "\xxx\krb5.conf";
String keytabPath = "\xxx\hive.service.keytab";
String principal = "hive/xxx@xxx";

System.setProperty("java.security.krb5.conf", confPath);
//System.setProperty("sun.security.krb5.debug", "true");
//System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
Configuration configuration = new Configuration();
configuration.set("hadoop.security.authentication", "KERBEROS");

UserGroupInformation.setConfiguration(configuration);
try {
    UserGroupInformation.loginUserFromKeytab(principal, keytabPath);
} catch (IOException e) {
    log.error("authKerberos exception", e);
    throw new BizException("kerberos认证失败");
}

除了上述方式外，也可采用JAAS可插拔的认证模块进行Kerberos认证

续期

Kerberos的ticket存在有效期，过期后导致服务不可用

Kerberos ticket存在两种有效期，ticket timelife(票据生命周期)、renewable lifetime(可再生周期)

  • ticket的时间超过ticket lifetime时，该ticket将不可用
  • 在renewable lifetime的时间内，可以对即将过期的ticket进行续期，超过renewable lifetime时间后，无法续期
  • 例如kerb5.conf文件中的配置：ticket_lifetime = 24h renewable_lifetime = 7d，则在登录后的24小时内，可以对即将过期的ticket进行续期，距第一次登录7天后，将不再允许续期

UserGroupInformation提供了认证续期的私有方法UserGroupInformation#reloginFromKeytab(boolean)，该方法有两个触发入口UserGroupInformation#checkTGTAndReloginFromKeytab和UserGroupInformation#reloginFromKeytab()

值得注意的是

UserGroupInformation#loginUserFromKeytab

方法中会开启异步任务，定时触发续期方法，触发的续期方法即是

UserGroupInformation#reloginFromKeytab()

向线程池中提交续期的任务

也可以自定义触发续期的逻辑, 定期触发

UserGroupInformation.getLoginUser().checkTGTAndReloginFromKeytab()

连接hive

Kerberos认证之后，使用hive-jdbc连接hive，之后与连接mysql、pg的方式无异，使用DriverManager或数据源连接池Hikari皆可

遇到的问题

一开始选择hadoop-common的版本是3.1.3，执行Kerberos认证时报错

KerberosUtil无法访问sun.security.krb5.Config（它在java.security.jgss模块中）。

分析

本项目采用的框架是spring boot3版本，最低要求的jdk版本是17，而Java在9之后引入了模块化机制，模块必须显式声明他们要到导出的包以供其他模块使用。

但是java.security.jgss模块的module-info.class文件中并未声明

解决方式

1.在JVM的启动参数上增加以下参数

--add-exports=java.security.jgss/sun.security.krb5=ALL-UNNAMED

2.升级hadoop-common版本到3.3.6

在该版本中KerberosUtil并未通过反射访问sun.security.krb5.Config

  • hadoop-common:3.1.3版本的KerberosUtil

hadoop-common:3.3.6版本的KerberosUtil

扩展

利用JAAS机制认证Kerberos，不再使用UserGroupInformation进行认证

增加一个配置文件gss-jaas.conf

com.sun.security.jgss.initiate{
   com.sun.security.auth.module.Krb5LoginModule required
   doNotPrompt=true
   useTicketCache=true
   useKeyTab=true
   renewTGT=true
   debug=true
   ticketCache="/kerberos-tmp/krb5cc_1000"
   keyTab="D:\\xxxx\\hive.service.keytab"
   principal="hive/xxxx@xxxx";
 };
private void authKerberos1() {
    // 指定gss-jaas.conf文件路径
    System.setProperty("java.security.auth.login.config", "D:\\xxx\\gss-jaas.conf");
    // System.setProperty("sun.security.jgss.debug", "true");
    System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
    String confPath = "D:\\xxxx\\krb5.conf";
    System.setProperty("java.security.krb5.conf", confPath);
}

思考

有时我们开发的系统是要部署到客户现场使用，而客户现场使用的hive版本和司内环境使用的版本可能不同。一般在程序开发时使用的依赖版本皆是定义在pom文件中，一旦打包之后依赖的版本就是固定的。因此需要考虑程序可适配不同的hive-jdbc版本，能够动态加载不同版本的hive-jdbc，或者在项目启动时可以指定额外的hive-jdbc驱动包

  • 使用类加载器在程序运行时动态从指定路径读取并加载指定的驱动jar包
URLClassLoader loader = new URLClassLoader(urls, Thread.currentThread().getContextClassLoader());
Class.forName(driverName, true, loader);
  • 在项目启动时能够将指定的目录中的jar包放到类路径中

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • SpringBoot和VUE源码直接整合打包成jar的踩坑记录

    SpringBoot和VUE源码直接整合打包成jar的踩坑记录

    这篇文章主要介绍了SpringBoot和VUE源码直接整合打包成jar的踩坑记录,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-03-03
  • MyBatis如何实现多表查询（多对一、一对多）

    MyBatis如何实现多表查询（多对一、一对多）

    这篇文章主要给大家介绍了关于MyBatis如何实现多表查询（多对一、一对多）的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-05-05
  • springboot集成@DS注解实现数据源切换的方法示例

    springboot集成@DS注解实现数据源切换的方法示例

    本文主要介绍了springboot集成@DS注解实现数据源切换的方法示例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-03-03
  • Java 堆内存与栈内存详细介绍

    Java 堆内存与栈内存详细介绍

    这篇文章主要介绍了Java 堆内存与栈内存详细介绍的相关资料,这里对java 的堆内存和栈内存进行了详细的分析,需要的朋友可以参考下
    2016-11-11
  • MyBatis查询缓存实例详解

    MyBatis查询缓存实例详解

    查询缓存的使用，主要是为了提高查询访问速度。这篇文章主要介绍了MyBatis查询缓存,需要的朋友可以参考下
    2017-06-06
  • 实例讲解String Date Calendar之间的转换

    实例讲解String Date Calendar之间的转换

    下面小编就为大家带来一篇实例讲解String Date Calendar之间的转换。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07
  • 最简单易懂的java数组排序方法整理

    最简单易懂的java数组排序方法整理

    这篇文章主要给大家整理介绍了最简单易懂的java数组排序方法，文中通过示例代码介绍的非常详细，对大家学习或者使用java具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-07-07
  • springboot + mybatis + druid + 多数据源的问题详解

    springboot + mybatis + druid + 多数据源的问题详解

    这篇文章主要介绍了springboot + mybatis + druid + 多数据源的问题详解,示例代码文字相结合给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-09-09
  • SpringMVC通过RESTful结构实现页面数据交互

    SpringMVC通过RESTful结构实现页面数据交互

    RESTFUL是一种网络应用程序的设计风格和开发方式，基于HTTP，可以使用XML格式定义或JSON格式定义。RESTFUL适用于移动互联网厂商作为业务接口的场景，实现第三方OTT调用移动网络资源的功能，动作类型为新增、变更、删除所调用资源
    2022-08-08
  • java实现分布式锁的常用三种方式

    java实现分布式锁的常用三种方式

    本文主要介绍了java实现分布式锁,一般有这3种方式,基于数据库实现的分布式锁、基于Redis实现的分布式锁和基于Zookeeper实现的分布式锁,具有一定的参考价值,感兴趣的可以了解一下
    2024-08-08

最新评论