SpringBoot如何获取Kafka的Topic列表

 更新时间:2022年09月29日 16:04:21   作者:AnthonyJing  
这篇文章主要介绍了SpringBoot如何获取Kafka的Topic列表问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

写在前面   

众所周知,kafka是现代流行的消息队列,它使用经典的消息订阅发布模式实现消息的流转,大部分代码结合kafka使用都是使用它的生产者和消费者来实现消息的传递,那么对于kafka的主题的管理怎么使用代码实现呢,这是今天要讲的主题 

命令行模式

kafka要结合zookeeper使用,因为它把元数据信息交给了zookeeper管理,其实使用命令行命令很容易就能对topic进行管理,主要使用的命令是kafka-topics.sh

创建主题
kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3
查看主题列表
kafka-topics.sh --zookeeper localhost:2181 --list
查看主题状态
kafka-topics.sh --describe  --zookeeper 127.0.0.1:2181 --topic TestTopic 

代码模式

那么话说回来如何使用代码实现topic的管理呢,那么现在就来看一下代码的实现方式,此处使用springboot2框架实现。

首先引进依赖kafka的相关

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

创建一个测试类进行测试

public static void main(String[] args) {
        Properties properties =  new Properties();
        properties.put("bootstrap.servers", "10.0.59.11:9093");
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        AdminClient adminClient = AdminClient.create(properties);
        ListTopicsResult result = adminClient.listTopics();
        KafkaFuture<Set<String>> names = result.names();
        try {
            names.get().forEach((k)->{
                System.out.println(k);
            });
        } catch (InterruptedException | ExecutionException e) {
            e.printStackTrace();
        }
        adminClient.close();
    }

这里面最主要的就是AdminClient这个类,AdminClient实现了Admin接口,Admin里面定义了许多和kafka配置相关的东西

让我们依次来看一下

public abstract class AdminClient implements Admin {
    public AdminClient() {
    }

    public static AdminClient create(Properties props) {
        return (AdminClient)Admin.create(props);
    }

    public static AdminClient create(Map<String, Object> conf) {
        return (AdminClient)Admin.create(conf);
    }
}

而Admin接口里有以下方法

static Admin create(Properties props) {
        return KafkaAdminClient.createInternal(new AdminClientConfig(props, true), (TimeoutProcessorFactory)null);
    }

    static Admin create(Map<String, Object> conf) {
        return KafkaAdminClient.createInternal(new AdminClientConfig(conf, true), (TimeoutProcessorFactory)null);
    }

    default void close() {
        this.close(9223372036854775807L, TimeUnit.MILLISECONDS);
    }

    /** @deprecated */
    @Deprecated
    default void close(long duration, TimeUnit unit) {
        this.close(Duration.ofMillis(unit.toMillis(duration)));
    }

    void close(Duration var1);

    default CreateTopicsResult createTopics(Collection<NewTopic> newTopics) {
        return this.createTopics(newTopics, new CreateTopicsOptions());
    }

    CreateTopicsResult createTopics(Collection<NewTopic> var1, CreateTopicsOptions var2);

    default DeleteTopicsResult deleteTopics(Collection<String> topics) {
        return this.deleteTopics(topics, new DeleteTopicsOptions());
    }

    DeleteTopicsResult deleteTopics(Collection<String> var1, DeleteTopicsOptions var2);

    default ListTopicsResult listTopics() {
        return this.listTopics(new ListTopicsOptions());
    }

    ListTopicsResult listTopics(ListTopicsOptions var1);

    default DescribeTopicsResult describeTopics(Collection<String> topicNames) {
        return this.describeTopics(topicNames, new DescribeTopicsOptions());
    }

    DescribeTopicsResult describeTopics(Collection<String> var1, DescribeTopicsOptions var2);

    default DescribeClusterResult describeCluster() {
        return this.describeCluster(new DescribeClusterOptions());
    }

    DescribeClusterResult describeCluster(DescribeClusterOptions var1);

    default DescribeAclsResult describeAcls(AclBindingFilter filter) {
        return this.describeAcls(filter, new DescribeAclsOptions());
    }

    DescribeAclsResult describeAcls(AclBindingFilter var1, DescribeAclsOptions var2);

通过名称我们可以看出,里面有创建Topic,有删除Topic,有列出所有Topic,有描述Topic

我们通过这些方法可以管理Kafka的Topic

最后我们来看一下实现效果 

控制台打印里面有3个Topic

去服务器命令行验证一下

也是3个说明代码没问题

总结

网上大多数关于kafka的代码实现都是关于生产者和消费者的实现,今天主要是使用一下kakfa的配置管理类,实现对topic的管理,以此记录作为以后工作中的参考。希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Java创建线程的五种写法总结

    Java创建线程的五种写法总结

    本文主要为大家详细介绍一下Java实现线程创建的五种写法,文中的示例代码讲解详细,对我们学习有一定的帮助,感兴趣的可以跟随小编学习一下
    2022-08-08
  • 带你走进Maven的大门-最全Maven配置及集成idea工具总结

    带你走进Maven的大门-最全Maven配置及集成idea工具总结

    Maven项目对象模型(POM),是一个项目管理工具可以通过一小段描述信息来管理项目的构建,报告和文档的软件.那我们想要在IDEA中使用Maven得进行一些配置,接下来我们具体看一下是如何配置使用的,需要的朋友可以参考下
    2021-06-06
  • Mybatis省略@Param注解原理分析

    Mybatis省略@Param注解原理分析

    这篇文章主要介绍了Mybatis省略@Param注解原理分析,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-06-06
  • Java中Array、List、ArrayList的区别及说明

    Java中Array、List、ArrayList的区别及说明

    这篇文章主要介绍了Java中Array、List、ArrayList的区别及说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-07-07
  • Java实现生成pdf并解决表格分割的问题

    Java实现生成pdf并解决表格分割的问题

    这篇文章主要为大家详细介绍了如何利用Java实现生成pdf,并解决表格分割的问题,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-11-11
  • sin(x)如何求解的java代码实现方法

    sin(x)如何求解的java代码实现方法

    这篇文章主要为大家介绍了sin(x)如何求解的java代码实现方法示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-04-04
  • java序列化与ObjectOutputStream和ObjectInputStream的实例详解

    java序列化与ObjectOutputStream和ObjectInputStream的实例详解

    这篇文章主要介绍了java序列化与ObjectOutputStream和ObjectInputStream的实例详解的相关资料,希望通过本文能帮助到大家,需要的朋友可以参考下
    2017-09-09
  • Java中集合List、Set和Map的入门详细介绍

    Java中集合List、Set和Map的入门详细介绍

    Java集合主要分为三种类型:Set(集)、List(列表)和Map(映射),下面这篇文章主要给大家介绍了关于Java中集合List、Set和Map的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-01-01
  • SpringBoot 自定义starter yaml提示失效问题及解决方法

    SpringBoot 自定义starter yaml提示失效问题及解决方法

    在自定义starter后,必不可少会有properties配置参数需要指定,而在有时又不知道为什么出现这个问题,这篇文章主要介绍了SpringBoot 自定义starter yaml提示失效问题,需要的朋友可以参考下
    2022-12-12
  • 如何用ObjectMapper将复杂Map转换为实体类

    如何用ObjectMapper将复杂Map转换为实体类

    这篇文章主要介绍了如何用ObjectMapper将复杂Map转换为实体类的操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-08-08

最新评论