BlockingQueue队列处理高并发下的日志

 更新时间:2022年03月08日 08:48:30   作者:kl  
这篇文章主要介绍了BlockingQueue队列处理高并发下的日志示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步

前言

当系统流量负载比较高时,业务日志的写入操作也要纳入系统性能考量之内,如若处理不当,将影响系统的正常业务操作,之前写过一篇《spring boot通过MQ消费log4j2的日志》的博文,采用了RabbitMQ消息中间件来存储抗高并发下的日志,因为引入了中间件,操作使用起来可能没那么简便,今天分享使用多线程消费阻塞队列的方式来处理我们的海量日志

what阻塞队列?

阻塞队列(BlockingQueue)是区别于普通队列多了两个附加操作的线程安全的队列。这两个附加的操作是:在队列为空时,获取元素的线程会等待队列变为非空。当队列满时,存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程。阻塞队列就是生产者存放元素的容器,而消费者也只从容器里拿元素。

1.声明存储固定消息的队列

/**
 * Created by kl on 2017/3/20.
 * Content :销售操作日志队列
 */
public class SalesLogQueue{
    //队列大小
    public static final int QUEUE_MAX_SIZE    = 1000;
    private static SalesLogQueue alarmMessageQueue = new SalesLogQueue();
    //阻塞队列
    private BlockingQueueblockingQueue = new LinkedBlockingQueue<>(QUEUE_MAX_SIZE);
    private SalesLogQueue(){}
    public static SalesLogQueue getInstance() {
        return alarmMessageQueue;
    }
    /**
     * 消息入队
     * @param salesLog
     * @return
     */
    public boolean push(SalesLog salesLog) {
        return this.blockingQueue.add(salesLog);//队列满了就抛出异常,不阻塞
    }
    /**
     * 消息出队
     * @return
     */
    public SalesLog poll() {
        SalesLog result = null;
        try {
            result = this.blockingQueue.take();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return result;
    }
    /**
     * 获取队列大小
     * @return
     */
    public int size() {
        return this.blockingQueue.size();
    }
}

ps:因为业务原因,采用add的方式入队,队列满了就抛异常,不阻塞

2.消息入队

消息入队可以在任何需要保存日志的地方操作,如aop统一拦截日志处理,filter过滤请求日志处理,或者耦合的业务日志,记住,不阻塞入队操作,不然将影响正常的业务操作,如下为filter统一处理请求日志:

/**
 * Created by kl on 2017/3/20.
 * Content :访问请求拦截,保存操作日志
 */
public class SalesLogFilter implements Filter {
    private RoleResourceService resourceService;
    @Override
    public void init(FilterConfig filterConfig) throws ServletException {
        ServletContext context = filterConfig.getServletContext();
        ApplicationContext ctx = WebApplicationContextUtils.getWebApplicationContext(context);
        resourceService = ctx.getBean(RoleResourceService.class);
    }
    @Override
    public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain filterChain) throws IOException, ServletException {
        try {
            HttpServletRequest request = (HttpServletRequest) servletRequest;
            String requestUrl = request.getRequestURI();
            String requestType=request.getMethod();
            String ipAddress = HttpClientUtil.getIpAddr(request);
            Map resource=resourceService.getResource();
            String context=resource.get(requestUrl);
            //动态url正则匹配
            if(StringUtil.isNull(context)){
                for(Map.Entry entry:resource.entrySet()){
                    String resourceUrl= entry.getKey();
                    if(requestUrl.matches(resourceUrl)){
                        context=entry.getValue();
                        break;
                    }
                }
            }
            SalesLog log=new SalesLog();
            log.setCreateDate(new Timestamp(System.currentTimeMillis()));
            log.setContext(context);
            log.setOperateUser(UserTokenUtil.currentUser.get().get("realname"));
            log.setRequestIp(ipAddress);
            log.setRequestUrl(requestUrl);
            log.setRequestType(requestType);
            SalesLogQueue.getInstance().push(log);
        }catch (Exception e){
            e.printStackTrace();
        }
        filterChain.doFilter(servletRequest, servletResponse);
    }
    @Override
    public void destroy() {
    }
}

3.消息出队被消费

BlockingQueue是线程安全的,所以可以放心的在多个线程中去处理队列中的消息,如下代码声明了一个两个大小的固定线程池,并添加了两个线程去处理队列中的消息

/**
 * Created by kl on 2017/3/20.
 * Content :启动消费操作日志队列的线程
 */
@Component
public class ConsumeSalesLogQueue {
    @Autowired
    SalesLogService salesLogService;
    @PostConstruct
    public void startrtThread() {
        ExecutorService e = Executors.newFixedThreadPool(2);//两个大小的固定线程池
        e.submit(new PollSalesLog(salesLogService));
        e.submit(new PollSalesLog(salesLogService));
    }
    class PollSalesLog implements Runnable {
        SalesLogService salesLogService;
        public PollSalesLog(SalesLogService salesLogService) {
            this.salesLogService = salesLogService;
        }
        @Override
        public void run() {
            while (true) {
                try {
                    SalesLog salesLog = SalesLogQueue.getInstance().poll();
                    if(salesLog!=null){
                        salesLogService.saveSalesLog(salesLog);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

参考博文如下,对BlockingQueue队列更多了解,可读一读如下的博文:

详细分析Java并发集合ArrayBlockingQueue的用法

详解Java阻塞队列(BlockingQueue)的实现原理

Java并发之BlockingQueue的使用

以上就是BlockingQueue队列处理高并发下的日志的详细内容,更多关于BlockingQueue队列处理高并发日志的资料请关注脚本之家其它相关文章!

相关文章

  • JVM教程之Java代码编译和执行的整个过程(二)

    JVM教程之Java代码编译和执行的整个过程(二)

    这篇文章主要介绍了JVM学习笔记第二篇,关于Java代码编译和执行的整个过程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-03-03
  • Java微信公众平台开发(7) 公众平台测试帐号的申请

    Java微信公众平台开发(7) 公众平台测试帐号的申请

    这篇文章主要为大家详细介绍了Java微信公众平台开发第七步,微信公众平台测试帐号的申请,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-04-04
  • Java 递归查询部门树形结构数据的实践

    Java 递归查询部门树形结构数据的实践

    本文主要介绍了Java 递归查询部门树形结构数据的实践,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-09-09
  • dubbo新手学习之事件通知实践教程

    dubbo新手学习之事件通知实践教程

    这篇文章主要给大家介绍了关于dubbo新手学习之事件通知实践的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • SpringBoot @Scope与@RefreshScope注解使用详解

    SpringBoot @Scope与@RefreshScope注解使用详解

    spring的bean管理中,每个bean都有对应的scope。在BeanDefinition中就已经指定scope,默认的RootBeanDefinition的scope是prototype类型,使用@ComponentScan扫描出的BeanDefinition会指定是singleton,最常使用的也是singleton
    2022-11-11
  • Java多线程中的Executor详解

    Java多线程中的Executor详解

    这篇文章主要介绍了Java多线程中的Executor详解,该接口提供了一种将任务提交与如何运行每个任务的机制(包括线程使用、调度等细节)解耦的方法,它通常使用预先创建线程而不是创建线程,需要的朋友可以参考下
    2023-12-12
  • java获取两个数组中不同数据的方法

    java获取两个数组中不同数据的方法

    这篇文章主要介绍了java获取两个数组中不同数据的方法,实例分析了java操作数组的技巧,非常具有实用价值,需要的朋友可以参考下
    2015-03-03
  • Java利用Socket类实现TCP通信程序

    Java利用Socket类实现TCP通信程序

    TCP通信能实现两台计算机之间的数据交互,通信的两端,要严格区分为客户端与服务端,下面我们就来看看Java如何利用Socket类实现TCP通信程序吧
    2024-02-02
  • Java基础教程之类数据与类方法

    Java基础教程之类数据与类方法

    这篇文章主要介绍了Java基础教程之类数据与类方法,本文是对类的深入探讨,类数据指类的一些属性、参数等,类方法就是类包含的功能方法,需要的朋友可以参考下
    2014-08-08
  • springboot返回图片流的实现示例

    springboot返回图片流的实现示例

    本文主要介绍了springboot返回图片流的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08

最新评论