Spring中@Scheduled和HttpClient的连环坑
前言
本文主要给大家介绍了关于Spring中@Scheduled和HttpClient的坑，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。
曾经踩过一个大坑：
由于业务特殊性，会定时跑很多定时任务，对业务数据进行补偿操作等。
在Spring使用过程中，我们可以使用@Scheduled注解可以方便的实现定时任务。
有一天早上突然发现，从前一天晚上某一时刻开始，所有的定时任务全部都卡死不再运行了。
@Scheduled默认单线程
经排查后发现，我们使用@Scheduled注解默认的配置的话，所有的任务都是单线程去跑的。写了一个测试的task让它sleep住，就很容易发现，其他所有的task在时间到的时候都没有触发。
如果需要开启多线程处理，则需要进行如下的配置，设置一下线程数：
@Configuration
public class ScheduleConfig implements SchedulingConfigurer {
@Override
public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {
taskRegistrar.setScheduler(Executors.newScheduledThreadPool(5));
}
}
这样就解决了如果一个task卡住，会引起所有task全部卡住的问题。
但是为什么会有task卡住呢？
HttpClient默认参数配置
原来，有些task会定时请求外部服务的restful接口，而HttpClient的配置如下：
PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager();
connManager.setMaxTotal(maxConnection);
httpClient = HttpClients.custom()
.setConnectionManager(connManager)
.build();
在最开始使用HttpClient的时候，根本没有想这么多，基本也都是用用默认配置。
追踪源码可以发现，在使用上述方式进行配置的时候，HttpClient的timeout时间竟然全部都是-1，也就是说如果对方服务有问题，HttpClient的请求会永不超时，一直等待。源码如下：
Builder() {
super();
this.staleConnectionCheckEnabled = false;
this.redirectsEnabled = true;
this.maxRedirects = 50;
this.relativeRedirectsAllowed = true;
this.authenticationEnabled = true;
this.connectionRequestTimeout = -1;
this.connectTimeout = -1;
this.socketTimeout = -1;
this.contentCompressionEnabled = true;
}
所以我们这时候必须手动指定timeout时间，问题就解决了。例如：
PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager();
connManager.setMaxTotal(maxConnection);
RequestConfig defaultRequestConfig = RequestConfig.custom()
.setSocketTimeout(3000)
.setConnectTimeout(3000)
.setConnectionRequestTimeout(3000)
.build();
httpClient = HttpClients.custom()
.setDefaultRequestConfig(defaultRequestConfig)
.setConnectionManager(connManager)
.build();
联想到另一个问题
其实HttpClient的使用过程中也遇到过另外一个配置的问题，就是defaultMaxPerRoute这个参数。
最开始使用的时候也没有注意过这个参数，只是设置过连接池的最大连接数maxTotal。
defaultMaxPerRoute参数其实代表了每个路由的最大连接数。比如你的系统需要访问另外两个服务：google.com 和 bing.com。如果你的maxTotal设置了100，而defaultMaxPerRoute设置了50，那么你的每一个服务的最大请求数最大只能是50。
那么如果defaultMaxPerRoute没有设置呢，追踪源码：
public PoolingHttpClientConnectionManager(
final HttpClientConnectionOperator httpClientConnectionOperator,
final HttpConnectionFactory<HttpRoute, ManagedHttpClientConnection> connFactory,
final long timeToLive, final TimeUnit tunit) {
super();
this.configData = new ConfigData();
//这里使用的CPool构造方法，第二个参数即为defaultMaxPerRoute，也就是默认为2。
this.pool = new CPool(new InternalConnectionFactory(
this.configData, connFactory), 2, 20, timeToLive, tunit);
this.pool.setValidateAfterInactivity(2000);
this.connectionOperator = Args.notNull(httpClientConnectionOperator, "HttpClientConnectionOperator");
this.isShutDown = new AtomicBoolean(false);
}
这里发现，原来默认值竟然只有2。怪不得当时在高并发情况下总会出现超时，明明maxTotal已经设的很高。
所以如果你的服务访问很多不同的外部服务，并且并发量比较大，一定要好好配置maxTotal和defaultMaxPerRoute两个参数。
所以后来再使用任何新的东西，都有好好看下都什么配置，有疑问的一定要先查一下，不要网上copy一段代码直接就用。当时可能没问题，但是以后没准就被坑了。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
相关文章
这篇文章主要介绍了java如何获取实体类的属性名和属性值问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-11-11
Java反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为Java语言的反射机制2015-11-11
这篇文章主要为大家详细介绍了java实现画图板上画一条直线，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-08-08
这篇文章主要介绍了Java静态static关键字原理详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了java&javascript自定义加密数据传输代码示例，具有一定参考价值，需要的朋友可以了解下。2017-11-11
这篇文章主要为大家详细介绍了基于Retrofit+Rxjava实现带进度显示的下载文件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-05-05
Springboot 整合 Java DL4J 实现文物保护系统的详细过程
在数字化时代,文物保护尤为关键,本文介绍如何利用SpringBoot和Deeplearning4j构建一个图像识别的文物保护系统,系统采用卷积神经网络（CNN）,能够识别文物的损坏情况,本文介绍Springboot 整合 Java DL4J 实现文物保护系统,感兴趣的朋友一起看看吧2024-10-10
这篇文章主要介绍了Java 线程池的作用以及该如何使用，帮助大家更好的理解和学习Java的相关知识，感兴趣的朋友可以了解下2021-01-01
Java springboot压缩文件上传,解压,删除压缩包方式
这篇文章主要介绍了Java springboot压缩文件上传,解压,删除压缩包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2025-04-04
ConcurrentHashMap技术在互联网技术使用如此广泛，几乎所有的后端技术面试官都要在ConcurrentHashMap技术的使用和原理方面对小伙伴们进行360°的刁难，本文详细给大家介绍一下ConcurrentHashMap的存储流程,需要的朋友可以参考下2023-05-05
最新评论