浅析Java如何实现动态线程池的任务编排

 更新时间:2025年09月09日 08:33:37   作者:Java中文社群  
动态线程池是在程序运行期间,动态调整线程池参数而无需重启程序的技术,那么如何在动态线程池中进行任务编排呢,下面小编就来和大家详细介绍一下吧

在开始聊动态线程池如何实现任务编排前,咱们先给大家聊聊什么是动态线程池?以及为什么需要任务编排?

1.动态线程池

定义:动态线程池是在程序运行期间,动态调整线程池参数而无需重启程序的技术。

特性分析

动态线程池主要有以下三个特点:

1.可配置:支持运行时动态调整线程池参数,如核心线程数、最大线程数,并且修改后无需重启服务即可生效。

2.可监控:动态线程池内置了全面的运行时监控能力,能够定时采集并暴露线程池的多维度指标,帮助运维和开发人员实时掌握线程池的健康状况。监控指标主要有以下几个:

  • 线程维度:当前线程数、活跃线程数、最大线程数、任务完成数、任务执行异常数等。
  • 队列维度:队列当前大小、队列剩余容量等。
  • 任务维度:任务提交速率、任务执行耗时(TP99、TP999等)、任务等待耗时、任务拒绝次数等。

3.可预警:动态线程池提供了丰富且及时的预警机制,能够在线程池出现潜在风险或异常行为时,第一时间通知到相关负责人。

预警维度

  • 配置变更通知:当线程池配置项在配置中心被修改时,会发送通知确认变更。
  • 活性报警:当线程池的活跃度(活跃线程数 / 最大线程数)超过设定阈值时触发。
  • 队列容量报警:当任务队列的使用率(当前大小 / 队列容量)超过设定阈值时触发。
  • 拒绝策略触发报警:当线程池因队列满和线程满而触发拒绝策略,拒绝新任务时立即报警。
  • 任务执行/等待超时报警:当任务的执行时间或等待时间超过设定的超时时间时触发。

通知渠道

  • 原生支持:企业微信、钉钉、飞书、邮件等多种主流办公通讯工具。
  • 高扩展性:提供 SPI 接口,允许用户接入自定义的报警通知平台。

动态线程池实现

目前国内最知名的动态线程池开源实现技术是美团的 DynamicTP,官方地址:dynamictp.cn/

2.任务编排

定义:任务编排(Task Orchestration)是指管理和控制多个任务的执行流程,确保它们按照预定的顺序正确执行

在复杂的业务场景中,任务间通常存在依赖关系,也就是某个任务会依赖另一个任务的执行结果,在这种情况下,我们需要通过任务编排,来确保任务按照正确的顺序进行执行。

例如,以下任务的执行顺序:

其中,任务二要等任务一执行完才能执行,而任务四要等任务二和任务三全部执行完才能执行。

3.动态线程池任务编排

动态线程池的任务编排最灵活、也最推荐的是使用:CompletableFuture + DynamicTP 实现动态线程池的任务编排

具体实现

我们可以直接将 DynamicTP 结合 CompletableFutrue 进行使用,从而实现任务编排。

CompletableFutrue 提供的方法有很多,但最常用和最实用的核心方法只有以下几个:

接下来,使用 CompletableFuture 实现上述 4 个任务的编排(任务二要等任务一执行完才能执行,而任务四要等任务二和任务三全部执行完才能执行):

// 动态线程池
@Autowired
@Qualifier("dtpExecutor1")
private DtpExecutor dtpExecutor;

@RequestMapping("/dtp")
public String dtp() {
    // 任务一:返回 "Task 1 result"
    CompletableFuture<String> task1 = CompletableFuture.supplyAsync(() -> {
        try {
            // 模拟耗时操作
            Thread.sleep(1000);
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            throw new RuntimeException(e);
        }
        return "Task 1 result";
    }, dtpExecutor);
    // 任务二:依赖任务一,返回 "Task 2 result" + 任务一的结果
    CompletableFuture<String> task2 = task1.handleAsync((result1, throwable) -> {
        try {
            // 模拟耗时操作
            Thread.sleep(1000);
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            throw new RuntimeException(e);
        }
        return "Task 2 result " + result1;
    }, dtpExecutor);
    // 任务三:和任务一、任务二并行执行,返回 "Task 3 result"
    CompletableFuture<String> task3 = CompletableFuture.supplyAsync(() -> {
        try {
            // 模拟耗时操作
            Thread.sleep(800); // 任务三可能比任务二先完成
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            throw new RuntimeException(e);
        }
        return "Task 3 result";
    }, dtpExecutor);
    // 任务四:依赖任务二和任务三,等待它们都完成后执行,返回 "Task 4 result" + 任务二和任务三的结果
    CompletableFuture<String> task4 = CompletableFuture.allOf(task2, task3)
            .handleAsync((res, throwable) -> {
                try {
                    // 这里不需要显式等待,因为 allOf 已经保证了它们完成
                    return "Task 4 result with " + task2.get() + " and " + task3.get();
                } catch (Exception e) {
                    throw new RuntimeException(e);
                }
            }, dtpExecutor);
    // 获取任务四的结果并打印
    String finalResult = task4.join();
    System.out.println(finalResult);
}

小结

日常项目开发中,一定会使用到线程池,而动态线程池具备可配置、可观测、可告警等功能是项目开发的首选。但在使用动态线程池时就会有任务执行顺序的问题,此时就可以借助 CompletableFuture 一起执行来保证程序执行的正确性。

到此这篇关于浅析Java如何实现动态线程池的任务编排的文章就介绍到这了,更多相关Java线程池任务编排内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • JAVA 流程控制专项精讲

    JAVA 流程控制专项精讲

    不喜欢罗里吧嗦,讲的很精简易懂。从基础开始讲,后续会讲到JAVA高级,中间会穿插面试题和项目实战,希望能给大家带来帮助
    2022-03-03
  • 菜鸟学习java设计模式之单例模式

    菜鸟学习java设计模式之单例模式

    这篇文章主要为大家详细介绍了java设计模式之单例模式的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-11-11
  • SpringBoot中日志切面实现小结

    SpringBoot中日志切面实现小结

    本文介绍了SpringBoot中日志切面实现小结,通过定义一个自定义注解和创建一个日志切面类,为方法添加日志记录功能,感兴趣的可以了解一下
    2024-11-11
  • ElasticSearch启动成功却无法在浏览器访问问题解决办法

    ElasticSearch启动成功却无法在浏览器访问问题解决办法

    因工作的需要,要使用elasticsearch,安装完了,启动也成功了之后发现了问题,这篇文章主要给大家介绍了关于ElasticSearch启动成功却无法在浏览器访问问题的解决办法,需要的朋友可以参考下
    2024-10-10
  • SpringBoot接入deepseek深度求索示例代码(jdk1.8)

    SpringBoot接入deepseek深度求索示例代码(jdk1.8)

    这篇文章主要介绍了SpringBoot接入deepseek深度求索的相关资料,包括建API key、封装询问Deepseek的工具方法(在配置文件中添加key值)、调用测试并确保端口一致例如8091,最后运行结果,需要的朋友可以参考下
    2025-02-02
  • Spring Batch实现批量处理

    Spring Batch实现批量处理

    本文主要介绍了Spring Batch进行批量处理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-06-06
  • IDEA实现 springmvc的简单注册登录功能的示例代码

    IDEA实现 springmvc的简单注册登录功能的示例代码

    这篇文章主要介绍了IDEA实现 springmvc的简单注册登录功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • Springboot初始化启动报错Error creating bean with name 'dataSource' defined in class path resource

    Springboot初始化启动报错Error creating bean with name 'da

    这篇文章主要为大家介绍了Springboot初始化启动报Error creating bean with name 'dataSource' defined in class path resource解决,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-08-08
  • 优惠券优惠的思路以及实践

    优惠券优惠的思路以及实践

    本文主要介绍了优惠券优惠的思路以及实践。具有很好的参考价值,下面跟着小编一起来看下吧
    2017-02-02
  • Java中import java.util.Scanner的用处详解

    Java中import java.util.Scanner的用处详解

    文章主要介绍Java中的Scanner类及其常用方法next()和nextLine()的区别,next()方法在遇到空格、Tab键、回车键等分隔符时结束输入,而nextLine()方法则接收所有输入,直到遇到回车键
    2024-11-11

最新评论