解决rocketmq-spring-boot-starter导致的多消费者实例重复消费问题

 更新时间:2024年06月18日 08:42:08   作者:lipfff  
这篇文章主要介绍了解决rocketmq-spring-boot-starter导致的多消费者实例重复消费问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

问题描述

在使用rocketMQ集群模式消费的时候(通过springboot整合的依赖操作)

发现在一台服务器启动多个消费者实例后,消息进行了重复消费,但是在不同的服务器部署消费者实例后,消息能正常消费。

背景知识

rocketMQ的消费模式有两种:

  • 1.负载均衡模式 消费者采用负载均衡方式消费消息,多个消费者(服务启动多个,本地多个springboot加载类启动)共同消费队列消息,每个消费者处理的消息不同
  • 2.广播模式 消费者采用广播的方式消费消息,每个消费者消费的消息都是相同的

本地代码

依赖版本

    <properties>
        <rocketmq-spring-boot-starter-version>2.0.3</rocketmq-spring-boot-starter-version>
    </properties>
        <dependency>
            <groupId>org.apache.rocketmq</groupId>
            <artifactId>rocketmq-spring-boot-starter</artifactId>
            <version>${rocketmq-spring-boot-starter-version}</version>
        </dependency>

消费者:

package cn.lpf.mq;

import lombok.extern.slf4j.Slf4j;
import org.apache.rocketmq.spring.annotation.ConsumeMode;
import org.apache.rocketmq.spring.annotation.ExtRocketMQTemplateConfiguration;
import org.apache.rocketmq.spring.annotation.MessageModel;
import org.apache.rocketmq.spring.annotation.RocketMQMessageListener;
import org.apache.rocketmq.spring.core.RocketMQListener;
import org.springframework.stereotype.Component;

import java.util.concurrent.atomic.AtomicInteger;

/**
 * @auth lipf
 * @date 2021/1/16 16:27
 */
@Slf4j
@Component
//,messageModel = MessageModel.CLUSTERING
//,consumeMode = ConsumeMode.ORDERLY
@RocketMQMessageListener(consumerGroup =  "huanlv-group", topic = "miniapp_service_topic")
public class HotelServiceConsumer implements RocketMQListener<String> {

    private AtomicInteger count=new AtomicInteger(0);
    @Override
    public void onMessage(String message) {
        log.info("HotelServiceConsumer-->Receive message:{}",message);
        long start = System.currentTimeMillis();
        try {
            Thread.sleep(10);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        long end = System.currentTimeMillis();
        log.info("HotelServiceConsumer-->handler message:{} ms,{} s",(end-start),(end-start)/1000);
    }
}

消息积压并重复消息

观察console客户端,如下:

原因分析

通过使用rocket客户端消费是没问题的:

/**
 * 消息的接受者
 */
public class BaseConsumer {

    public static void main(String[] args) throws Exception {
        //1.创建消费者Consumer,制定消费者组名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("huanlv-group");
        //2.指定Nameserver地址
        consumer.setNamesrvAddr("172.16.100.11:9876");
        //3.订阅主题Topic和Tag
        consumer.subscribe("miniapp_service_topic", "*");

        //设定消费模式:负载均衡|广播模式
        consumer.setMessageModel(MessageModel.CLUSTERING);
//        consumer.setMessageModel(MessageModel.BROADCASTING);

        //4.设置回调函数,处理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {

            //接受消息内容
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
                for (MessageExt msg : msgs) {
                    System.out.println("consumeThread=" + Thread.currentThread().getName() + "," + new String(msg.getBody()));
                }
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        //5.启动消费者consumer
        consumer.start();
    }
}

所以这个时候怀疑是springboot整合rockemq的版本有问题,把版本有2.0.3换成了2.2.0问题解决掉,客户端注入ClientId规则发现变化,消息正常消费:

<properties>
        <rocketmq-spring-boot-starter-version>2.2.0</rocketmq-spring-boot-starter-version>
         </properties>

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Springboot整合redis实现发布订阅功能介绍步骤

    Springboot整合redis实现发布订阅功能介绍步骤

    发布订阅作为一种设计思想在很多开源组件中都有体现,比如大家熟知的消息中间件等,可谓把发布订阅这一思想体现的淋漓尽致了
    2022-09-09
  • SpringMVC中@ModelAttribute注解的使用教程

    SpringMVC中@ModelAttribute注解的使用教程

    在SpringMVC中,我们可以通过使用@ModelAttribute注解标记方法,实现类似于Struts2中Preparable拦截器的效果,这篇文章主要给大家介绍了关于SpringMVC中@ModelAttribute注解使用的相关资料,需要的朋友可以参考下
    2021-08-08
  • VSCode新手教程之配置Java环境的详细教程

    VSCode新手教程之配置Java环境的详细教程

    这篇文章主要给大家介绍了关于VSCode新手教程之配置Java环境的详细教程,工欲善其事必先利其器,想要工作顺利我们先搭建好JAVA的开发环境,需要的朋友可以参考下
    2023-10-10
  • Java实现微信支付的签名算法示例

    Java实现微信支付的签名算法示例

    这篇文章主要为大家介绍了Java实现微信支付的签名算法实现示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-12-12
  • 深度分析MybatisPlus查询结果映射失败@TableField失效解决办法

    深度分析MybatisPlus查询结果映射失败@TableField失效解决办法

    本文针对SpringBoot使用MybatisPlus框架时出现的查询结果映射失败问题进行深入分析,通过源码解析,阐述了@TableField注解失效的原因,并提出了四种有效的解决方案,感兴趣的朋友一起看看吧
    2025-07-07
  • Spring源码解析后置处理器梳理总结

    Spring源码解析后置处理器梳理总结

    这篇文章主要介绍了Spring源码解析后置处理器梳理总结,在前面几篇文章中梳理了Spring中bean的创建过程,在这个过程中各式各样的后置处理器发挥了不同的作用,可以说后置处理器贯穿了bean的实例化以及初始化过程
    2022-07-07
  • mybatisFlex各种链式sql写法小结

    mybatisFlex各种链式sql写法小结

    本文主要介绍了mybatisFlex各种链式sql写法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-04-04
  • IDEA一键生成方法的序列图神操作

    IDEA一键生成方法的序列图神操作

    为了能够更快更清晰地搞清对象之间的调用关系,我经常需要用到序列图。手动画序列图还是很麻烦费时的,不过 IDEA 提供了一个叫做SequenceDiagram 的插件帮助我们解决这个问题。通SequenceDiagram 这个插件,我们一键可以生成时序图
    2022-01-01
  • Spring Security密码编辑器示例详解

    Spring Security密码编辑器示例详解

    本文介绍了Spring Security的密码编码机制及其在Maven项目管理中的配置方式,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2025-10-10
  • springboot动态加载jar包动态配置实例详解

    springboot动态加载jar包动态配置实例详解

    这篇文章主要给大家介绍了关于springboot动态加载jar包动态配置的相关资料,在项目开发的过程中,有时候需要动态灵活的加载某个jar包并执行其里面的方法的时候,需要的朋友可以参考下
    2023-11-11

最新评论