自定义starter引发的线上事故记录复盘
前言
本文素材来源于业务部门技术负责人某次线上事故复盘分享。故事的背景是这样，该业务部门招了一个技术挺不错的小伙子小张，由于小张技术能力在该部门比较突出，在入职不久后，他便成为这个部门某个项目组的team leader，同时也拥有review 该项目的权利。（注： 该项目为微服务项目），在某次小张review项目的时候，他发现好几个项目，发现代码有很多重复，于是他就动了把这些重复代码封装成starter的念头，然后也是因为这次的封装，带来一次线上事故。下面就以代码示例的形式，模拟这次事故
代码示例
注： 本文仅模拟出现事故的代码片段，不涉及业务
1、模拟小张的封装的starter
@Slf4j
public class HelloSevice {
private ThreadPoolTaskExecutor threadPoolTaskExecutor;
public HelloSevice(ThreadPoolTaskExecutor threadPoolTaskExecutor){
this.threadPoolTaskExecutor = threadPoolTaskExecutor;
}
public String sayHello(String username){
threadPoolTaskExecutor.execute(()->{
log.info("hello: {} ",username);
});
return " hello : " + username;
}
}@Configuration
public class HelloServiceAutoConfiguration {
@Bean
public ThreadPoolTaskExecutor threadPoolTaskExecutor(){
ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
threadPoolTaskExecutor.setCorePoolSize(2);
threadPoolTaskExecutor.setMaxPoolSize(4);
threadPoolTaskExecutor.setQueueCapacity(1);
threadPoolTaskExecutor.setThreadFactory(new ThreadFactory() {
private AtomicInteger atomicInteger = new AtomicInteger();
@Override
public Thread newThread(Runnable r) {
Thread thread = new Thread(r);
thread.setName("hello-pool-" + atomicInteger.getAndIncrement());
return thread;
}
});
return threadPoolTaskExecutor;
}
@Bean
public HelloSevice helloSevice(ThreadPoolTaskExecutor threadPoolTaskExecutor){
return new HelloSevice(threadPoolTaskExecutor);
}
}spring.factories
org.springframework.boot.autoconfigure.EnableAutoConfiguration=\ com.github.lybgeek.thirdparty.autoconfigure.HelloServiceAutoConfiguration
2、模拟有引用小张封装的starter的微服务项目
因为这些微服务中有一些耗时的任务，因此使用了spring的异步。示例如下
@Configuration
public class ThreadPoolConfig {
@Bean
public ThreadPoolTaskExecutor threadPoolTaskExecutor(){
ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
threadPoolTaskExecutor.setCorePoolSize(2);
threadPoolTaskExecutor.setMaxPoolSize(5);
threadPoolTaskExecutor.setQueueCapacity(10);
threadPoolTaskExecutor.setThreadFactory(new ThreadFactory() {
private AtomicInteger atomicInteger = new AtomicInteger();
@Override
public Thread newThread(Runnable r) {
Thread thread = new Thread(r);
thread.setName("echo-pool-" + atomicInteger.getAndIncrement());
return thread;
}
});
threadPoolTaskExecutor.setRejectedExecutionHandler((r, executor) -> System.err.println("记录日志。。。。"));
return threadPoolTaskExecutor;
}
}@Service
@Slf4j
public class EchoService {
@Async("threadPoolTaskExecutor")
public void echo(String content){
log.info("echo -> {} ",content);
try {
//模拟耗时操作
TimeUnit.MINUTES.sleep(2);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}3、和本文有关系的配置内容
spring:
main:
allow-bean-definition-overriding: true4、模拟调用耗时业务代码块示例
@Component
public class BeanCommandRunner implements CommandLineRunner {
@Autowired
private EchoService echoService;
@Override
public void run(String... args) throws Exception {
for (int i = 0; i < 6; i++) {
echoService.echo("content:" + i);
}
}
}相关的代码如上述内容
大家可以思考一下上面的示例有没有什么问题
我们启动一下程序，观察一下控制台
报了一个线程池拒绝异常，而且通过这个异常信息，我们发现这个线程池走是小张封装线程池，而非业务自己定义的线程池。这明显是不正常的，正常的逻辑是业务代码优先级需比公共代码优先高才合理
那如何解决呢？
仅需利用springboot的条件注解即可，在小张封装的starter下做如下改动
@Bean
@ConditionalOnMissingBean
public ThreadPoolTaskExecutor threadPoolTaskExecutor(){
ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
threadPoolTaskExecutor.setCorePoolSize(2);
threadPoolTaskExecutor.setMaxPoolSize(4);
threadPoolTaskExecutor.setQueueCapacity(1);
threadPoolTaskExecutor.setThreadFactory(new ThreadFactory() {
private AtomicInteger atomicInteger = new AtomicInteger();
@Override
public Thread newThread(Runnable r) {
Thread thread = new Thread(r);
thread.setName("hello-pool-" + atomicInteger.getAndIncrement());
return thread;
}
});
return threadPoolTaskExecutor;
}修改后，我们在启动一下程序，观察控制台
此时走就是业务自定义的线程池了
为什么加了一个 @ConditionalOnMissingBean就可以了
这就得从springboot的自动装配说起了，springboot的自动装配类继承了org.springframework.context.annotation.DeferredImportSelector，这个接口具有懒加载的功能，当项目启动后，先加载业务自定义的bean，再来加载starter的bean，当我们项目中没有配置
spring:
main:
allow-bean-definition-overriding: true时，项目启动就会直接报类似如下异常
当时他们业务项目因为他们feign没有指定contextId，导致报了上述的异常，业务开发为了省事就直接把
allow-bean-definition-overriding设置成true，这也为后续小张自定义的starter引发的事故埋下了很好的根基。那我们再切回主线，当spring发现有两个一样的bean，且发现allow-bean-definition-overriding为true，后面加载的bean会把前面加载的bean覆盖掉，这也是为啥小张starter的bean会生效。
当我们在starter上的bean上加载 @ConditionalOnMissingBean后，因为业务项目的bean已经存在了，starter的bean就不会加载进spring容器了。
我们从技术维度说明了解决方案，我们再从非技术的角度上复盘一下这次事故
复盘
不知道会不会有朋友说，你说那么多，不就加一个@ConditionalOnMissingBean就能解决这个问题，下次注意就好了啊。但据业务技术人反馈当时他们排查了挺久，因为他们业务项目平时没啥并发量，所以小张那个问题就被掩盖住了，而有次他们业务搞了一个营销活动，因为并发上去了，才把问题暴露出来。这侧面也说明项目压测的重要性，不能因为平时没啥并发，就掉以轻心
不懂大家的公司是否也有这样的情况，在我们这边，底下成员代码只能merge request，只有team leader review后，再将代码合并到主干，因为team leader拥有的权限比较大，他写的代码，只要他愿意，直接就能合并到主干了。这次也是因为小张直接将他写的代码推到主干发布，酿成事故。后面我们这边提出了一个方法，就是team leader的代码要由更高级的leader进行走查，但是这个方法我是感觉也不是很好，因为有不少项目组的team leader的老板基本上已经脱离一线，不敲代码了，也不懂能不能行。
其次因为小张入职不久，对业务其实没有完全吃透，因为看到重复的代码，出于技术洁癖，就想去改，出发点是好的，但有句话技术是为业务服务，业务都没搞懂，就去动，有时候会带来意想不到的风险
总结
对自己的不熟悉的项目或者开发公共组件，深思熟虑再动手是很重要的
以上就是自定义starter引发的线上事故记录复盘的详细内容，更多关于自定义starter线上事故的资料请关注脚本之家其它相关文章！
相关文章
本篇文章主要介绍了30分钟入门Java8之lambda表达式学习，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-04-04
java CompletableFuture异步任务编排示例详解
这篇文章主要为大家介绍了java CompletableFuture异步任务编排示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-11-11
这篇文章主要为大家介绍了分布式任务调度xxl-job的问题解决，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多多多进步，早日升职加薪2022-03-03
Java中FileOutputStream流的write方法
这篇文章主要为大家详细介绍了Java中FileOutputStream流的write方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-08-08
日常工作中 Map 绝对是我们 Java 程序员高频使用的一种数据结构，那 Map 都有哪些遍历方式呢？这篇文章就带大家看一下，看看你经常使用的是哪一种2022-11-11
这篇文章主要介绍了SpringBoot整合dataworks的实现过程,实现主要是编写工具类，如果需要则可以配置成SpringBean，注入容器即可使用，需要的朋友可以参考下2022-08-08
本文通过实例代码给大家介绍了SpringBoot项目中接口防刷的方法，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧2021-07-07
这篇文章主要介绍了JAVA流程控制语句的的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-06-06
Springboot整合Redis实现超卖问题还原和流程分析(分布式锁)
最近在研究超卖的项目，写一段简单正常的超卖逻辑代码，多个用户同时操作同一段数据出现问题，纠结该如何处理呢？下面小编给大家带来了Springboot整合Redis实现超卖问题还原和流程分析，感兴趣的朋友一起看看吧2021-10-10
这篇文章主要介绍了Spring整合Mybatis实操分享，文章首先通过介绍Mybatis的工作原理展开Spring整合Mybatis的详细内容，需要的小伙伴可以参考一下2022-05-05
最新评论