Mybatis的sql语句执行异常后打印到日志问题

 更新时间:2024年10月29日 15:12:51   作者:莱特昂  
文章介绍了一种Mybatis异常日志打印方案,主要通过Mybatis拦截器获取执行的sql语句,并利用ThreadLocal存储,以避免多线程下的sql语句覆盖问题,当异常发生时,从ThreadLocal中取出sql语句并打印到单独的日志文件中,方便数据恢复,该方案经过压力测试

Mybatis的sql语句执行异常后打印到日志

最近做的一个运维提的需求。希望插入和更新的sql语句时,如果执行失败,能打印到一个专门的日志文件里。他可以用来恢复数据库里的数据。

在网上调研了下可以实现这个功能的方案:

1、可以通过Mybatis拦截器可以获取到执行的sql语句

2、由于我们的数据库都是异步写的,所以会存在多线程的问题,如果用一个变量存,可能会出现这条sql还没读出来就被别的线程的sql语句覆盖的问题,线程不安全。所以考虑用ThreadLocal存Mybatis拦截器的sql语句。

3、在异常的catch代码段里,将ThreadLocal存的sql语句取出,打印到单独的日志文件里。

具体实现代码

Mybatis拦截器(只拦截插入更新操作,拼接sql后塞入ThreadLocal):

/**
 * Mybatis拦截器,用于拼接sql语句
 *
 * @author lightonyang
 * @date 2022/10/27
 */
@Intercepts({
        @Signature(type = Executor.class, method = "update", args = {MappedStatement.class,
                Object.class}),
})
public class MybatisInterceptor implements Interceptor {
    // 如果参数是String,则添加单引号, 如果是日期,则转换为时间格式器并加单引号; 对参数是null和不是null的情况作了处理
    private static String getParameterValue(Object obj) {
        String value = null;
        if (obj instanceof String) {
            value = "'" + obj.toString() + "'";
        } else if (obj instanceof Date) {
            DateFormat formatter = DateFormat.getDateTimeInstance(DateFormat.DEFAULT,
                    DateFormat.DEFAULT, Locale.CHINA);
            value = "'" + formatter.format(new Date()) + "'";
        } else {
            if (obj != null) {
                value = obj.toString();
            } else {
                value =  "null" ;
            }
        }
        return value;
    }

    // 进行?的替换
    public static String showSql(Configuration configuration, BoundSql boundSql) {
        // 获取参数
        Object parameterObject = boundSql.getParameterObject();
        List<ParameterMapping> parameterMappings = boundSql.getParameterMappings();
        // sql语句中多个空格都用一个空格代替
        String sql = boundSql.getSql().replaceAll("[\\s]+", " ");
        if (CollectionUtils.isNotEmpty(parameterMappings) && parameterObject != null) {
            // 获取类型处理器注册器,类型处理器的功能是进行java类型和数据库类型的转换
            TypeHandlerRegistry typeHandlerRegistry = configuration.getTypeHandlerRegistry();
            // 如果根据parameterObject.getClass()可以找到对应的类型,则替换
            if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) {
                sql = sql.replaceFirst("\\?",
                        Matcher.quoteReplacement(getParameterValue(parameterObject)));
            } else {
                // MetaObject主要是封装了originalObject对象,提供了get和set的方法用于获取和设置originalObject的属性值,主要支持对JavaBean、Collection、Map三种类型对象的操作
                MetaObject metaObject = configuration.newMetaObject(parameterObject);
                for (ParameterMapping parameterMapping : parameterMappings) {
                    String propertyName = parameterMapping.getProperty();
                    if (metaObject.hasGetter(propertyName)) {
                        Object obj = metaObject.getValue(propertyName);
                        sql = sql.replaceFirst("\\?",
                                Matcher.quoteReplacement(getParameterValue(obj)));
                    } else if (boundSql.hasAdditionalParameter(propertyName)) {
                        // 该分支是动态sql
                        Object obj = boundSql.getAdditionalParameter(propertyName);
                        sql = sql.replaceFirst("\\?",
                                Matcher.quoteReplacement(getParameterValue(obj)));
                    } else {
                        // 打印出缺失,提醒该参数缺失并防止错位
                        sql = sql.replaceFirst("\\?", "缺失");
                    }
                }
            }
        }
        return sql;
    }

    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        try {
            // 获取xml中的一个select/update/insert/delete节点,是一条SQL语句
            MappedStatement mappedStatement = (MappedStatement) invocation.getArgs()[0];
            Object parameter = null;
            // 获取参数,if语句成立,表示sql语句有参数,参数格式是map形式
            if (invocation.getArgs().length > 1) {
                parameter = invocation.getArgs()[1];
                System.out.println("parameter = " + parameter);
            }
            String sqlId = mappedStatement.getId(); // 获取到节点的id,即sql语句的id
            System.out.println("sqlId = " + sqlId);
            BoundSql boundSql = mappedStatement.getBoundSql(parameter); // BoundSql就是封装myBatis最终产生的sql类
            Configuration configuration = mappedStatement.getConfiguration(); // 获取节点的配置
            String sql = showSql(configuration, boundSql); // 获取到最终的sql语句
            TheadLocalUtil.instance().sql(sql);
            System.out.println("sql = " + sql);
        } catch (Exception e) {
            e.printStackTrace();
        }
        // 执行完上面的任务后,不改变原有的sql执行过程
        return invocation.proceed();
    }

}

将Mybatis拦截器加入配置:

@Configuration
public class SqlMonitorConfiguration {

    @Autowired
    SqlSessionFactory sqlSessionFactory;

    @Bean
    @DependsOn("sqlSessionFactory")
    public MybatisInterceptor mybatisInterceptor() {
        MybatisInterceptor mybatisInterceptor = new MybatisInterceptor();
        sqlSessionFactory.getConfiguration().addInterceptor(mybatisInterceptor);
        return mybatisInterceptor;
    }
}

ThreadLocalUtil:

/**
 * 由于运维需求,数据库异常后输出sql语句,引入TheadLocal
 * 用于异步多线程写数据库时,存sql语句,保持线程安全
 * <p>
 * 用完要记得finally里reset,防止内存泄漏
 *
 * @author lightonyang
 * @date 2022/10/31
 */
public class TheadLocalUtil {

    private static final ThreadLocal<TheadLocalUtil> LOCAL = ThreadLocal.withInitial(TheadLocalUtil::new);

    private String sql;

    private TheadLocalUtil() {
    }

    public static TheadLocalUtil instance() {
        return LOCAL.get();
    }

    public TheadLocalUtil reset() {
        sql = null;
        LOCAL.remove();
        return this;
    }

    /*用于链式添加*/
    public TheadLocalUtil sql(String sql) {
        this.sql = sql;
        return this;
    }

    public String getSql() {
        return sql;
    }

    public void setSql(String sql) {
        this.sql = sql;
    }
}

日志配置(将异常日志打印到单独的日志文件mysqlfail.log里):

<Appenders>
		<RollingFile name="mysqlFailFixedTimeFileAppender"
					 fileName="${sys:mumble.log.home}/idap-idasc-mysqlfail.log"
					 filePattern="${sys:mumble.log.home}/idap-idasc-mysqlfail.log.%d{yyyy-MM-dd_HH}-%i.log">
			<PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %c{1}(%F:%L) - %m%n"/>
			<Policies>
				<TimeBasedTriggeringPolicy/>
				<SizeBasedTriggeringPolicy size="200 MB"/>
			</Policies>
			<DefaultRolloverStrategy max="24"/>
		</RollingFile>
</Appenders>

<Loggers>
		<AsyncLogger name="mysqlFail" level="info" additivity="false"
					 includeLocation="true">
			<AppenderRef ref="mysqlFailFixedTimeFileAppender"/>
		</AsyncLogger>
</Loggers>

日志使用(在操作数据的Impl中catch异常,从ThreadLocal中拿出sql语句打印日志):

private static final Logger MYSQL_FAIL_LOG = LoggerFactory.getLogger("mysqlFail");

	try{
	···
	}catch{
		MYSQL_FAIL_LOG.info(TheadLocalUtil.instance().getSql(sql););
	}finally{
		TheadLocalUtil.reset();
	}

这种实现方法也经过了测试的压测,没有出现多线程下的sql语句覆盖的问题,也没有出现内存泄漏和性能问题,满足了需求的使用。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • SpringMVC实现controller中获取session的实例代码

    SpringMVC实现controller中获取session的实例代码

    本篇文章主要介绍了SpringMVC实现controller中获取session的实例代码,具有一定的参考价值,有兴趣的可以了解一下。
    2017-02-02
  • SpringBoot条件注解@Conditional详细解析

    SpringBoot条件注解@Conditional详细解析

    这篇文章主要介绍了SpringBoot条件注解@Conditional详细解析,@Conditional是Spring4.0提供的一个用于条件装配的注解,其定义了一个Condition的数组,只有当数组所有的条件都满足的时候,组件才会被导入容器,需要的朋友可以参考下
    2023-11-11
  • Java中常见的语法糖分享

    Java中常见的语法糖分享

    Java语法糖是指Java编译器在编译Java源代码时所做的一些特殊处理,使得Java源代码在编译后生成的字节码更加简洁、易读、易维护,Java 中有许多常见的语法糖,本文给大家列举了一些常见的例子,需要的朋友可以参考下
    2023-10-10
  • 逆波兰计算器(Java实现)

    逆波兰计算器(Java实现)

    这篇文章主要为大家详细介绍了Java实现逆波兰计算器,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-09-09
  • springboot实现小程序支付的项目实践

    springboot实现小程序支付的项目实践

    本文主要介绍了springboot实现小程序支付的项目实践, 可以通过调用微信支付 API 实现支付功能,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09
  • Spring中的底层架构核心概念类型转换器详解

    Spring中的底层架构核心概念类型转换器详解

    这篇文章主要介绍了Spring中的底层架构核心概念类型转换器详解,本文结合示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-12-12
  • 轻松掌握java责任链模式

    轻松掌握java责任链模式

    这篇文章主要帮助大家轻松掌握java责任链模式,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2016-09-09
  • Java static关键字详细解析

    Java static关键字详细解析

    这篇文章主要介绍了Java static关键字详细解析,java中的static关键字主要用于内存管理,可以用在变量、方法、代码块和嵌套类中。更多相关介绍,需要的小伙伴可以参考一下
    2022-08-08
  • Java导出oracle表结构实例详解

    Java导出oracle表结构实例详解

    这篇文章主要介绍了 Java导出oracle表结构实例详解的相关资料,需要的朋友可以参考下
    2017-03-03
  • Java使用线程池批量处理数据操作具体流程

    Java使用线程池批量处理数据操作具体流程

    这篇文章主要给大家介绍了关于Java使用线程池批量处理数据操作的相关资料,Java多线程编程中线程池是一个非常重要的概念,线程池可以提高线程的复用率和任务调度的效率,尤其是当需要查询大批量数据时,需要的朋友可以参考下
    2023-06-06

最新评论