SpringBoot集成Kafka2.4.0的全过程

 更新时间:2025年09月29日 09:50:10   作者:云暮冬  
本文介绍了如何在Spring Boot 2.4.0环境中集成Kafka,从前提条件、Kafka启动(包括Windows和Linux)、pom.xml配置、消息生产者与消费者代码编写到实际运行并发送消息的全过程,感兴趣的朋友跟随小编一起看看吧

1、前提条件

  前提是需要安装Kafka及能正常启动,正常启动后记录下Kafka的ip及端口号,例如我的:127.0.0.1:9092。
  由于用的Kafka还是需要zookeeper的,因此之前也要安装启动好zookeeper,zookeeper的安装启动见这篇文章:

zookeeper入门

2、启动Kafka

2.1 windows启动

  1、到Kafka安装目录下的bin目录下的windows下:

2、执行命令:kafka-server-start.bat -daemon D:\java\kafka_2.11-2.4.0\config\server.properties

2.2 linux启动

3、引入pom

这里由于我系统安装的是2.4.0版本的Kafka,因此pom引入最好用相同版本的,避免出现其他问题。还有一点要注意的是,如果最新的spring boot引入这个版本zookeeper可能有问题,因此需要注意。我用的是2.3.7.RELEASE版本的spring boot。

<dependency>
  <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.4.0</version>
</dependency>

4、编写配置文件

这里一些相应的配置后续可以专门更新一篇文章,目前的目的是先跑起来体验一下。搭建起来。

spring:
  application:
    name: xuydkafka
  kafka:
    bootstrap-servers: 127.0.0.1:9092 #kafka地址
    producer: # 生产者
      retries: 3 # 设置大于0的值,则客户端会将发送失败的记录重新发送
      batch-size: 16384
      buffer-memory: 33554432
      acks: 1
      # 指定消息key和消息体的编解码方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: default-group
      enable-auto-commit: false
      auto-offset-reset: earliest # 从消息头开始poll()数据
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      max-poll-records: 500 # 一次poll最大的消息数量
    listener:
      # 当每一条记录被消费者监听器(ListenerConsumer)处理之后提交
      # RECORD
      # 当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后提交
      # BATCH
      # 当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后,距离上次提交的时间大于time时提交
      # TIME
      # 当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后,被处理的record数量大于等于count时提交
      # COUNT
      # TIME | COUNT 有⼀个条件满⾜时提交
      # COUNT_TIME
      # 当每⼀批poll()的数据被消费者监听器(ListenerConsumer)处理之后, ⼿动调#⽤Acknowledgment.acknowledge()后提交
      # MANUAL
      #  ⼿动调⽤Acknowledgment.acknowledge()后⽴即提交,⼀般使⽤这种
      # MANUAL_IMMEDIATE
      ack-mode: MANUAL_IMMEDIATE
  redis:
    host: 127.0.0.1
server:
  port: 9000

5、编写消息生产者代码

package com.xuyd.kafka.controller;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/msg")
public class KafkaController {
    private final static String TOPIC_NAME = "my-replicated-topic";
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;
    @RequestMapping("/send")
    public String sendMessage(){
        kafkaTemplate.send(TOPIC_NAME, 0, "key", "this is a message");
        return "send success";
    }
}

6、编写消息消费者相关代码

需要注意的是,一般生产者和消费者不会在同一个项目。这里只是体验,所以临时这么处理。

package com.xuyd.kafka.consumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;
import org.springframework.stereotype.Component;
@Component
public class MyConsumer {
    @KafkaListener(topics = "my-replicated-topic", groupId = "MyGroup1")
    public void listenGroup(ConsumerRecord<String, String> record, Acknowledgment ack) {
        String value = record.value();
        System.out.println(value);
        System.out.println(record);
        // 由于配置的提交方式是MANUAL_IMMEDIATE 因此这里需要手动提交代码        
        ack.acknowledge();
    }
}

7、启动并发送消息

这里启动时候可能会遇到各种问题,99%是因为springcloud或者springboot与kafka的版本不匹配造成的,大家先临时委曲求全一下,用我的版本跑起来再去完善吧~~

消息生产者发生消息。

消费者收到消息打印:

到此这篇关于SpringBoot集成Kafka2.4.0的全过程的文章就介绍到这了,更多相关SpringBoot集成Kafka内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • MySQL启动方式之systemctl与mysqld的对比详解

    MySQL启动方式之systemctl与mysqld的对比详解

    MySQL 是当今最流行的开源关系型数据库之一,其性能、可靠性和易用性让它广泛应用于各种场景,如何正确启动 MySQL 服务可能并不是一件简单的事情,本文将聚焦两种常用的 MySQL 启动方式:通过 systemctl 启动和直接使用 mysqld 启动,需要的朋友可以参考下
    2024-11-11
  • 用SQL语句解决mysql导入大数据文件的问题

    用SQL语句解决mysql导入大数据文件的问题

    今天的这篇文章用来讨论如何解决导入mysql大数据文件的问题,其实说的简单了就是一条SQL语句,而如果你是一名SQL高手,那完全可以略过此文。
    2010-08-08
  • 一文带你学会MySQL的select语句

    一文带你学会MySQL的select语句

    在MySQL中可以使用SELECT语句来查询数据,查询数据是指从数据库中根据需求,使用不同的查询方式来获取不同的数据,是使用频率最高、最重要的操作,下面这篇文章主要给大家介绍了关于MySQL中select语句的相关资料,需要的朋友可以参考下
    2022-11-11
  • 数据库管理中文件的使用教程

    数据库管理中文件的使用教程

    本文将详细介绍数据库管理中文件的使用,需要了解更多的朋友可以参考下
    2012-11-11
  • MySQL实战之Insert语句的使用心得

    MySQL实战之Insert语句的使用心得

    这篇文章主要给大家介绍了关于MySQL实战之Insert语句的使用心得的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • 搭建Mysql视图可视化操作(保姆级)

    搭建Mysql视图可视化操作(保姆级)

    本文主要介绍了搭建Mysql视图可视化操作,文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-10-10
  • mysql 让一个存储过程定时作业的代码

    mysql 让一个存储过程定时作业的代码

    以下例子主要是实现简单的mysq 定时作业,需要的朋友可以参考下。
    2011-05-05
  • MySQL in太多过慢的三种解决方案

    MySQL in太多过慢的三种解决方案

    在MySQL中有一个配置参数eq_range_index_dive_limit,它的作用是一个等值查询(比如:in 查询),使用扫描索引树的方式分析在MySQL内部叫做index dives,使用索引统计的方式分析在MySQL内部叫做index statistics,本文给大家介绍了MySQL in太多过慢的三种解决方案
    2024-05-05
  • Mysql BinLog存储机制与数据恢复方式

    Mysql BinLog存储机制与数据恢复方式

    这篇文章主要介绍了Mysql BinLog存储机制与数据恢复方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-06-06
  • 深入理解where 1=1的用处

    深入理解where 1=1的用处

    本篇文章是对where 1=1的用处进行了详细的分析介绍,需要的朋友参考下
    2013-06-06

最新评论