Java JDBC连接Kerberos认证的HIVE和Impala方式

更新时间：2025年02月11日 09:29:34 作者：Donnedaen

本文主要介绍了HiveJDBC和ImpalaJDBC的使用方法,包括版本对应、Maven安装、主机名配置、端口开通、JDBC连接和Kerberos认证等

1. 版本

HIVE 2.1.1-cdh6.3.2版本需对应版本的 Hive JDBC 和 Impala JDBC，如下：

注意：单独使用HIVE JDBC ，使用版本 3.1.0，使用 Impala JDBC 需要搭配 HIVE JDBC 1.1.0使用，不然会报错；搭配HIVE JDBC 3.1.0 报：

java.lang.NoClassDefFoundError:org/apache/hive/service/cli/thrift/TCLIService$Client

       <dependency>
         <groupId>org.apache.hive</groupId>
         <artifactId>hive-exec</artifactId>
         <version>3.1.0</version>
       </dependency>
       <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-common</artifactId>
         <version>3.1.0</version>
       </dependency>
       <dependency>
<!--        <dependency>-->
<!--            <groupId>org.apache.hive</groupId>-->
<!--            <artifactId>hive-jdbc</artifactId>-->
<!--            <version>3.1.0</version>-->
<!--        </dependency>-->
       <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-auth</artifactId>
         <version>3.1.0</version>
       </dependency>
       <dependency>
         <groupId>com.cloudera.impala</groupId>
         <artifactId>impala-jdbc41</artifactId>
         <version>2.5.28</version>
       </dependency>
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-jdbc</artifactId>
           <version>1.1.0</version>
       </dependency>

1.1 手动安装 maven

如果 Maven 库没有相应JDBC，手动安装 maven，如下：

mvn install:install-file -D file=C:\Users\mx\Desktop\impala-jdbc41-0.0.1.jar -D groupId=com.cloudera.impala -D artifactId=impala-jdbc42 -D version=2.6.33 -D packaging=jar

2. 映射地址

因kerberos SPN配置必须使用主机名链接，Linux 和 Windows需要配置hosts，格式：IP地址主机名，配置完成之后 telnet 检测

说明：如果是docker容器链接 Hive 或 Impala ，还需要在docker容器中配置 hosts，保证主机和容器 telent 都是通的

telnet hostname port

2.1 端口

开通 HIVE 和 Impala 相应的端口，本地调试按需将 IP 和端口加入白名单

HIVE TCP端口：jdbc:hive2://hostname:10000
Impala TCP端口：jdbc:impala://hostname:21050
Hdfs TCP端口：hdfs://hostname:8020
Kerberos UDP端口：88

2.2 调试

使用 telnet hostname port ，调试以上 hostname 和端口，保障网络连通

3. HIVE JDBC 连接 Kerberos 认证的 HIVE 集群

package com.test;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;

public class HiveKerberosConnectionExample {

    private static String krb5 = "src/main/resources/krb5.conf";
    private static String keytab = "src/main/resources/hive.keytab";
    private static String principal = "hive@EXAMPLE.COM";
    private static String hiveUrl = "jdbc:hive2://host:10000/test;principal=hive/_HOST@EXAMPLE.COM";

    public static void main(String[] args) throws Exception {
        // 设置Kerberos配置文件路径
        System.setProperty("java.security.krb5.conf", krb5);
        System.setProperty("sun.security.krb5.debug", "true"); // 可选，用于调试 Kerberos 认证过程
        // 初始化Hadoop配置
        Configuration conf = new Configuration();
        conf.set("hadoop.security.authentication", "kerberos");
        // 使用Keytab进行Kerberos身份验证
        UserGroupInformation.setConfiguration(conf);
        UserGroupInformation.loginUserFromKeytab(principal, keytab);
        
        // 建立Hive连接
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        Connection connection = DriverManager.getConnection(hiveUrl, "", "");

        // 执行查询
        Statement stmt = connection.createStatement();
        ResultSet res = stmt.executeQuery("select * from test.tblname");

        // 处理结果
        while (res.next()) {
            //a,b,c,ds 为 tblname表字段
            String data = res.getString("a") + "," + res.getString("b") + "," + res.getString("c") + "," + res.getString("ds");
            System.out.println("************** 输出 tblname***************************");
            System.out.println(data);
        }

        // 关闭资源
        res.close();
        stmt.close();
        connection.close();
    }
}

4. HIVE JDBC 连接 Kerberos 认证的 Impala 集群

package com.test;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;

import java.security.PrivilegedAction;
import java.sql.*;


public class ImpalaKerberosConnectionExample {
    private static String krb5 = "src/main/resources/krb5.conf";
    private static String keytab = "src/main/resources/impala.keytab";
    private static String principal = "impala@EXAMPLE.COM";
    private static String impalaUrl = "jdbc:hive2://host:21050/test;principal=impala/_HOST@EXAMPLE.COM";
    public static void main(String[] args) throws Exception {
        // 设置Kerberos配置文件路径
        System.setProperty("java.security.krb5.conf", krb5);
        System.setProperty("sun.security.krb5.debug", "true"); // 可选，用于调试 Kerberos 认证过程
        // 初始化Hadoop配置
        Configuration conf = new Configuration();
        conf.set("hadoop.security.authentication", "kerberos");
        // 使用Keytab进行Kerberos身份验证
        UserGroupInformation.setConfiguration(conf);
        UserGroupInformation.loginUserFromKeytab(principal, keytab);
        UserGroupInformation loginUser = UserGroupInformation.getLoginUser();

        //使用HIVE jdbc 建立Impala连接
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        // Impala Jdbc 和 HIVE Jdbc 查询
//        loginUser.doAs((PrivilegedAction<Void>) () -> {
//            try {
//                try (Connection connection = DriverManager.getConnection(impalaUrl,"","")) {
//                    try (Statement statement = connection.createStatement()) {
//                        ResultSet resultSet = statement.executeQuery("SELECT * FROM test.tblname LIMIT 10");
//                        while (resultSet.next()) {
//                            String data = resultSet.getString("a") + "," + resultSet.getString("b") + "," + resultSet.getString("c") + "," + resultSet.getString("ds");
//                            System.out.println("************** 输出 tblname***************************");
//                            System.out.println(data);
//                        }
//                        resultSet.close();
//                    }
//                }
//            } catch (SQLException e) {
//                e.printStackTrace();
//            }
//            return null;
//        });

        // HIVE JDBC 查询,Impala Jdbc 查询报 kerberos 认证失败 1312 码
        Connection connection = DriverManager.getConnection(impalaUrl, "", "");
        Statement stmt = connection.createStatement();
        ResultSet res = stmt.executeQuery("SELECT * FROM test.tlbname LIMIT 10");

        // 处理结果
        while (res.next()) {
            String data = res.getString("a") + "," + res.getString("b") + "," + res.getString("c") + "," + res.getString("ds");
            System.out.println("************** Impala 输出 tblname ***************************");
            System.out.println(data);
        }

        // 关闭资源
        res.close();
        stmt.close();
        connection.close();
    }
}

5. Impala JDBC 连接 Kerberos 认证的 Impala 集群

package com.test;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;

import java.security.PrivilegedAction;
import java.sql.*;


public class ImpalaKerberosConnectionExample {
    private static String krb5 = "src/main/resources/krb5.conf";
    private static String keytab = "src/main/resources/impala.keytab";
    private static String principal = "impala@EXAMPLE.COM";
    private static String impalaUrl = "jdbc:impala://host:21050/test;AuthMech=1;KrbRealm=EXAMPLE.COM;KrbHostFQDN=host;KrbServiceName=impala";
    public static void main(String[] args) throws Exception {
        // 设置Kerberos配置文件路径
        System.setProperty("java.security.krb5.conf", krb5);
        System.setProperty("sun.security.krb5.debug", "true"); // 可选，用于调试 Kerberos 认证过程
        // 初始化Hadoop配置
        Configuration conf = new Configuration();
        conf.set("hadoop.security.authentication", "kerberos");
        // 使用Keytab进行Kerberos身份验证
        UserGroupInformation.setConfiguration(conf);
        UserGroupInformation.loginUserFromKeytab(principal, keytab);
        UserGroupInformation loginUser = UserGroupInformation.getLoginUser();
        // 使用 Impala jdbc 建立Impala连接
        Class.forName("com.cloudera.impala.jdbc41.Driver");// 搭配HIVE JDBC 3.1.0报：java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thrift/TCLIService$Client

        //使用HIVE jdbc 建立Impala连接
//        Class.forName("org.apache.hive.jdbc.HiveDriver");
        // Impala查询
        loginUser.doAs((PrivilegedAction<Void>) () -> {
            try {
                try (Connection connection = DriverManager.getConnection(impalaUrl,"","")) {
                    try (Statement statement = connection.createStatement()) {
                        ResultSet resultSet = statement.executeQuery("SELECT * FROM test.tblname LIMIT 10");
                        while (resultSet.next()) {
                            String data = resultSet.getString("a") + "," + resultSet.getString("b") + "," + resultSet.getString("c") + "," + resultSet.getString("ds");
                            System.out.println("************** Impala 输出 tlbname ***************************");
                            System.out.println(data);
                        }
                        resultSet.close();
                    }
                }
            } catch (SQLException e) {
                e.printStackTrace();
            }
            return null;
        });
    }
}

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Java陷阱之assert关键字详解
这篇文章详细介绍了Java陷阱之assert关键字，有需要的朋友可以参考一下
2013-09-09
Netty分布式Server启动流程服务端初始化源码分析
本章主要讲解server启动的关键步骤, 读者只需要了解server启动的大概逻辑, 知道关键的步骤在哪个类执行即可, 并不需要了解每一步的运作机制, 之后会对每个模块进行深度分析
2022-03-03
Java中常用的设计模式之责任链模式详解
这篇文章主要为大家详细介绍了Java中常用的设计模式之责任链模式，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2022-02-02
mybatis 一对一、一对多和多对多查询实例代码
这篇文章主要介绍了mybatis 一对一、一对多和多对多查询的实例代码，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
2018-06-06
Spring 缓存抽象示例详解
Spring框架自身并没有实现缓存解决方案，但是从3.1开始定义了org.springframework.cache.Cache和org.springframework.cache.CacheManager接口，提供对缓存功能的声明，能够与多种流行的缓存实现集成。这篇文章主要介绍了Spring 缓存抽象 ,需要的朋友可以参考下
2018-09-09
Java将CSV的数据发送到kafka的示例
这篇文章主要介绍了Java将CSV的数据发送到kafka得示例，帮助大家更好得理解和使用Java，感兴趣的朋友可以了解下
2020-11-11
JAVA如何获取jvm和操作系统相关信息
这篇文章主要介绍了JAVA获取jvm和操作系统相关信息,使用Java自带的类进行获取系统运行的相关信息，在这整理记录分享一下，需要的朋友可以参考下
2022-10-10
Spring系统属性及spring.properties配置文件示例详解
spring中有一个SpringProperties类，来保存spring的系统属性，本文结合实例代码对Spring系统属性及spring.properties配置文件相关知识给大家介绍的非常详细，需要的朋友参考下吧
2023-07-07
springboot使用@Slf4j进行日志的记录步骤详解
这篇文章主要介绍了springboot使用@Slf4j进行日志的记录,使用@Slf4j的注解进行日志记录非常方便，本文给大家分享操作步骤，需要的朋友可以参考下
2023-08-08
永久解决 Intellij idea 报错:Error :java 不支持发行版本5的问题
这篇文章主要介绍了永久解决 Intellij idea 报错:Error :java 不支持发行版本5的问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-02-02