RocketMQ4.5.X 实现修改生产者消费者日志保存路径

 更新时间:2021年07月03日 11:16:09   作者:qq_35251168  
这篇文章主要介绍了RocketMQ4.5.X 实现修改生产者消费者日志保存路径方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

RocketMQ修改生产者消费者日志保存路径

rocket默认是将所有日志文件保存到user.home的对于win系统就是C盘了。

1.修改RocketMQ中CLientLogger.class的源码,把经过更改的源码重新打包后,去自己的maven仓库替换rocketmq-client.-4.5.X.jar。

2.对于生产者的启动类里需要配置JVM系统属性:

如果不设置logUserSlf4j为true的话,启动生产者的时候会报找不到日志配置文件的警告。

3.对于消费者,仅仅添加rq.lordir(日志保存路径)就行了。

当然,以上情况是开发中每个开发人员需要独立设置的,部署到线上的时候可以直接在源码中写路径而不是系统属性。

RocketMQ 日志操作

官网:http://rocketmq.apache.org/docs/logappender-example/

应用:将程序日志输出到rocketmq,消费端可读取日志数据进行相应处理

导入 jar 包

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-logappender</artifactId>
    <version>4.7.1</version>
</dependency>

相关类

RocketmqLogbackAppender:发送到rocketmq

public class RocketmqLogbackAppender extends AppenderBase<ILoggingEvent> {
    private String tag;                   //标签
    private String topic;                 //发送的topic
    private String nameServerAddress;     //namesrv地址
    private String producerGroup;         //发送群组
    private MQProducer producer;
    private Layout layout;                //布局方式
    private PreSerializationTransformer<ILoggingEvent> pst = new LoggingEventPreSerializationTransformer();

AsyncAppender:异步发送

public class AsyncAppender extends AsyncAppenderBase<ILoggingEvent> {
    boolean includeCallerData = false;

AsyncAppenderBase

public class AsyncAppenderBase<E> extends UnsynchronizedAppenderBase<E> 
implements AppenderAttachable<E> { 
    AppenderAttachableImpl<E> aai = new AppenderAttachableImpl<E>();
    BlockingQueue<E> blockingQueue; 
    public static final int DEFAULT_QUEUE_SIZE = 256;
    int queueSize = DEFAULT_QUEUE_SIZE; 
    int appenderCount = 0; 
    static final int UNDEFINED = -1;
    int discardingThreshold = UNDEFINED;
    boolean neverBlock = false; 
    Worker worker = new Worker(); 
    public static final int DEFAULT_MAX_FLUSH_TIME = 1000;
    int maxFlushTime = DEFAULT_MAX_FLUSH_TIME;

AppenderAttachable:引用、删除appender

public interface AppenderAttachable<E> { 
    void addAppender(Appender<E> newAppender);
    boolean isAttached(Appender<E> appender);
 
    Iterator<Appender<E>> iteratorForAppenders();
    Appender<E> getAppender(String name);
 
    void detachAndStopAllAppenders();
    boolean detachAppender(Appender<E> appender);
    boolean detachAppender(String name);
}

日志配置

logback.xml:放在resources目录下

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex" converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx" converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>
 
    <property name="log.path" value="e:/hhhh/"/>
    <property name="console.pattern" value="%clr(%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>
    <property name="file.pattern" value="%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} ${LOG_LEVEL_PATTERN:-%5p} ${PID:- } --- [%t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>
 
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${console.pattern}</pattern>
        </encoder>
    </appender>
 
    <appender name="mqAppender1" class="org.apache.rocketmq.logappender.logback.RocketmqLogbackAppender">
        <tag>tag</tag>
        <topic>topic-log</topic>
        <producerGroup>log-group</producerGroup>
        <nameServerAddress>172.18.0.10:9876</nameServerAddress>
        <layout>
            <pattern>%date %p %t - %m%n</pattern>
        </layout>
    </appender>
 
    <!-- 异步发送 -->
    <appender name="mqAsyncAppender1" class="ch.qos.logback.classic.AsyncAppender">
        <queueSize>1024</queueSize>
        <discardingThreshold>80</discardingThreshold>
        <maxFlushTime>2000</maxFlushTime>
        <neverBlock>true</neverBlock>
        <appender-ref ref="mqAppender1"/>
    </appender>
 
    <root level="info">
        <appender-ref ref="console"/>
        <appender-ref ref="mqAsyncAppender1"/>
    </root>
</configuration>

将springboot应用打包,发布成docker容器

创建容器

#namesrv
docker run -it -d --net fixed --ip 172.18.0.10 -p 9876:9876 \
-e JAVA_OPT="-server -Xms256m -Xmx256m -Xmn128m" \
--name namesrv lihu12344/rocketmq:4.7.1 bash bin/mqnamesrv
 
#broker
docker run -it -d --net fixed --ip 172.18.0.20 \
-e NAMESRV_ADDR="172.18.0.10:9876" \
-e JAVA_OPT="-server -Xms512m -Xmx512m -Xmn256m" \
-v /usr/rocketmq/single/broker.conf:/home/rocketmq/rcketmq-4.7.1/conf/broker.conf \
--name broker lihu12344/rocketmq:4.7.1 \
bash bin/mqbroker autoCreateTopicEnable=true -c conf/broker.conf
 
#应用程序
docker run -it -d --net fixed --ip 172.18.0.21 -p 8080:8080 --name rocketmq-log rocketmq-log

rocketmq监控

docker run -it -d --net fixed --ip 172.18.0.4 -p 8008:8080 \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=172.18.0.10:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
--name rocketmq-console styletang/rocketmq-console-ng

使用测试

192.168.57.127:8008

查看topic

查看topic-log message信息

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • JAVA线上常见问题排查手段(小结)

    JAVA线上常见问题排查手段(小结)

    这篇文章主要介绍了JAVA线上常见问题排查手段(小结),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-07-07
  • Java核心编程之文件随机读写类RandomAccessFile详解

    Java核心编程之文件随机读写类RandomAccessFile详解

    这篇文章主要为大家详细介绍了Java核心编程之文件随机读写类RandomAccessFile,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-08-08
  • Springboot 配置线程池创建线程及配置 @Async 异步操作线程池详解

    Springboot 配置线程池创建线程及配置 @Async 异步操作线程池详解

    这篇文章主要介绍了Springboot 配置线程池创建线程及配置 @Async 异步操作线程池详解,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-09-09
  • SpringBoot2 整合MinIO中间件实现文件便捷管理功能

    SpringBoot2 整合MinIO中间件实现文件便捷管理功能

    这篇文章主要介绍了SpringBoot2 整合MinIO中间件,实现文件便捷管理,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-07-07
  • 详解Java中的八种单例创建方式

    详解Java中的八种单例创建方式

    单例设计模式,就是采取一定的方法保证在整个的软件系统中,对某个类只能存在一个对象实例,并且该类只提供一个取得其对象实例的方法。本文将详细介绍Java中单例的八种创建方式,需要的可以参考一下
    2022-02-02
  • Java 在 Word 文档中使用新文本替换指定文本的方法

    Java 在 Word 文档中使用新文本替换指定文本的方法

    这篇文章主要介绍了Java 在 Word 文档中使用新文本替换指定文本的方法,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • SpringBoot+Netty+WebSocket实现消息发送的示例代码

    SpringBoot+Netty+WebSocket实现消息发送的示例代码

    这篇文章主要介绍了SpringBoot+Netty+WebSocket实现消息发送的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • SpringBoot3.1.2 引入Swagger报错Type javax.servlet.http.HttpServletRequest not present解决办法

    SpringBoot3.1.2 引入Swagger报错Type javax.servlet.http

    这篇文章主要介绍了SpringBoot3.1.2 引入Swagger报错Type javax.servlet.http.HttpServletRequest not present解决办法,文中通过代码示例给大家介绍的非常详细,需要的朋友可以参考下
    2024-03-03
  • java查找无向连通图中两点间所有路径的算法

    java查找无向连通图中两点间所有路径的算法

    这篇文章主要介绍了java查找无向连通图中两点间所有路径的算法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • Spring MVC中的拦截器案例演示

    Spring MVC中的拦截器案例演示

    拦截器可以拦截所有的请求,也可以只拦截满足指定的请求, Spring MVC 的拦截器类似于过滤器,用来执行预处理和后处理操作,本文给大家介绍Spring MVC中的拦截器案例演示,感兴趣的朋友跟随小编一起看看吧
    2023-10-10

最新评论