druid连接泄露故障全面分析

 更新时间:2023年12月18日 09:48:41   作者:人工博客  
这篇文章主要介绍了druid连接泄露故障全面分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

1、问题的如何发生的

1.1、应用功能介绍

系统是一个双数据源双写单独的服务。

(两个数据源是不同的存储,所以无法使用主从复制的模式,是一个切换存储介质的过渡态)。

历史代码有个更新逻辑update xx set a=b where m=n。

但是这个表中的记录超10亿。遇到需要更新的记录比较多的场景下存在问题。

故对这个进行了sql优化。采用的逻辑是查询出需要更新的记录id,然后分页更新。

1.2、关键代码

双数据源操作

private Object runSql(List<String> sqlSessionFactotyBeanNameList, MethodInvocation invocation)
            throws InvocationTargetException, IllegalAccessException {
        List<SqlSession> sqlSessionList = Lists.newArrayList();
        Object result = null;
        try {
            for (String sessionFactotyBeanName : sqlSessionFactotyBeanNameList) {
                SqlSessionFactory sqlSessionFactory =
                        RgApplicationContextUtil.getBean(
                                sessionFactotyBeanName, SqlSessionFactory.class);
                SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
                Object mapper = sqlSession.getMapper(invocation.getMethod().getDeclaringClass());
                Object[] param = invocation.getArguments();
                result = invocation.getMethod().invoke(mapper, param);
                sqlSessionList.add(sqlSession);//问题代码,注意!!!!
                sqlSession.commit();
            }
        } catch (Exception ex) {
            sqlSessionList.stream()
                    .forEach(
                            x -> {
                                x.rollback();
                            });
        } finally {
            sqlSessionList.stream()
                    .forEach(
                            x -> {
                                x.close();
                            });
        }
        return result;
    }

问题的sql

<select id="getBatchIdWithLimit" resultType="java.lang.Long">
	SELECT x.id FROM context x WHERE x.oid = #{oid} ORDER BY id ASC
	LIMIT #{offset}, #{limit}
</select>

关键的配置

maxWait 获取连接时最大等待时间,单位毫秒。配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁。

当前系统此参数未进行配置,所以会无限等待,使用的是公平锁

1.3、问题出现的步骤

  • sql中存在问题,部分数据的长度超过Integer的最大值(2147483647),映射存在问题。
  • 双数据源代码存在bug。 List的代码结合的 add 位置过于落后,导致反射出现异常的时候。当次的SqlSession未关联到待处理的集合中,进而也就未rollback和close。造成链接泄露。
  • 当出现问题的数据的时候,结合双数据源的代码的bug。会造成List为空,所以未进行释放操作,(链接泄露了)
  • 当前系统最大的连接数是100,出现了100次这样的数据,这个服务就回无尽的等待获取链接中的状态。

1.4、问题的表象

image-20210601165753462

代码的问题点

2、如何复现问题

2.1、问题数据复现

  • 把数据库的最大连接数调整成1,maxWaitTime不设置
  • 构造一条id大于2147483647的数据
  • 使用api 触发调用到这个逻辑
  • 结果是:第一次调用报错,第二次调用会卡的客户端设置的超时时间。

2.2、数据库连接异常复现

还有一种路径是代码都没问题,但是由于高并发造成数据库是锁。mybatis是可以设置sql的执行时长的。一旦出现了这种场景。问题也是会出现的。

但是这种场景比较难以复现,那么有没有一种手段可以高效的伪造这个场景。

准备知识

set autocommit=0;  //关闭数据的事务自动提交
SELECT * FROM xxx a WHERE a.id='111' for update; //获取数据库的行锁
commit;//提交事务

数据默认是自动提交的,所以前置set autocommit=0;这个操作不要忘记了,踩过几次坑。完成后执行commit;进行解锁。

测试完毕记得set autocommit=1;来恢复数据库的事务自动提交的特性。

  • 准备一条接口测试用的数据
  • 执行sql select …for update 进行行记录锁定
  • 接口调用使用同一个id进行请求。因为记录锁定了,所以api的更新是失败了,成功的伪造了高并发形成了行锁造成的sql问题

3、问题总结

  • 数据库的保护配置:maxActive、maxWait都配置上,相当于熔断保护
  • mybatis对象映射需要关注数据的范围
  • 利用select for update制造行锁伪造高并发造成的数据问题

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • SpringBoot实现统一封装返回前端结果集的示例代码

    SpringBoot实现统一封装返回前端结果集的示例代码

    在实际项目开发过程中,我们经常将返回数据的基本形式统一为JSON格式的数据。但项目可能是由很多人开发的,所以我们最好将返回的结果统一起来。本文介绍了SpringBoot实现统一封装返回前端结果集的示例代码,需要的可以参考一下
    2022-06-06
  • 在Java中如何避免创建不必要的对象

    在Java中如何避免创建不必要的对象

    作为Java开发者,我们每天创建很多对象,但如何才能避免创建不必要的对象呢?这需要我们好好学习,这篇文章主要给大家介绍了关于在Java中如何避免创建不必要对象的相关资料,需要的朋友可以参考下
    2021-10-10
  • java 调用wsdl协议接口简单实用方法最新推荐

    java 调用wsdl协议接口简单实用方法最新推荐

    文章介绍了如何使用POM导入依赖,并编写一个测试类来调用不同的Web服务接口,通过访问接口地址,我们可以获取请求和返回的body,并进一步解析返回的JSON结果,感兴趣的朋友一起看看吧
    2025-03-03
  • Spring Boot 快速入门指南

    Spring Boot 快速入门指南

    Spring 框架是非常著名的 Java 开源框架,历经十多年的发展,整个生态系统已经非常完善甚至是繁杂,Spring Boot 正是为了解决这个问题而开发的,为 Spring 平台和第三方库提供了开箱即用的设置,只需要很少的配置就可以开始一个 Spring 项目
    2017-03-03
  • 记录jdk21连接SQLServer因为TLS协议报错问题

    记录jdk21连接SQLServer因为TLS协议报错问题

    在使用Druid连接池连接SQL Server时,可能会遇到因TLS版本不匹配导致的连接失败问题,具体表现为客户端使用TLS1.3或TLS1.2,而SQL Server仅支持TLS1.0,导致无法建立安全连接,解决方法是修改JDK的安全配置,启用TLS1.0
    2024-10-10
  • Java获取UTC时间的方法详解

    Java获取UTC时间的方法详解

    这篇文章主要介绍了Java获取UTC时间的方法,结合具体实例形式详细分析了Java针对时区、本地时间、时间偏移量等相关操作技巧,需要的朋友可以参考下
    2017-04-04
  • Java学习关于循环和数组练习题整理

    Java学习关于循环和数组练习题整理

    在本篇文章里小编给各位整理了关于Java学习关于循环和数组练习题相关内容,有兴趣的朋友们跟着参考学习下。
    2019-07-07
  • SpringCloud Netfilx Ribbon负载均衡工具使用方法介绍

    SpringCloud Netfilx Ribbon负载均衡工具使用方法介绍

    Ribbon是Netflix的组件之一,负责注册中心的负载均衡,有助于控制HTTP和TCP客户端行为。Spring Cloud Netflix Ribbon一般配合Ribbon进行使用,利用在Eureka中读取的服务信息,在调用服务节点时合理进行负载
    2022-12-12
  • Javassist用法详解

    Javassist用法详解

    这篇文章主要介绍了Javassist用法的相关资料,帮助大家更好的理解和学习使用Java,感兴趣的朋友可以了解下
    2021-02-02
  • 详解SpringBoot整合RabbitMQ如何实现消息确认

    详解SpringBoot整合RabbitMQ如何实现消息确认

    这篇文章主要介绍了SpringBoot整合RabbitMQ是如何实现消息确认的,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-05-05

最新评论