Mybatis的sql语句执行异常后打印到日志问题

 更新时间:2024年10月29日 15:12:51   作者:莱特昂  
文章介绍了一种Mybatis异常日志打印方案,主要通过Mybatis拦截器获取执行的sql语句,并利用ThreadLocal存储,以避免多线程下的sql语句覆盖问题,当异常发生时,从ThreadLocal中取出sql语句并打印到单独的日志文件中,方便数据恢复,该方案经过压力测试

Mybatis的sql语句执行异常后打印到日志

最近做的一个运维提的需求。希望插入和更新的sql语句时,如果执行失败,能打印到一个专门的日志文件里。他可以用来恢复数据库里的数据。

在网上调研了下可以实现这个功能的方案:

1、可以通过Mybatis拦截器可以获取到执行的sql语句

2、由于我们的数据库都是异步写的,所以会存在多线程的问题,如果用一个变量存,可能会出现这条sql还没读出来就被别的线程的sql语句覆盖的问题,线程不安全。所以考虑用ThreadLocal存Mybatis拦截器的sql语句。

3、在异常的catch代码段里,将ThreadLocal存的sql语句取出,打印到单独的日志文件里。

具体实现代码

Mybatis拦截器(只拦截插入更新操作,拼接sql后塞入ThreadLocal):

/**
 * Mybatis拦截器,用于拼接sql语句
 *
 * @author lightonyang
 * @date 2022/10/27
 */
@Intercepts({
        @Signature(type = Executor.class, method = "update", args = {MappedStatement.class,
                Object.class}),
})
public class MybatisInterceptor implements Interceptor {
    // 如果参数是String,则添加单引号, 如果是日期,则转换为时间格式器并加单引号; 对参数是null和不是null的情况作了处理
    private static String getParameterValue(Object obj) {
        String value = null;
        if (obj instanceof String) {
            value = "'" + obj.toString() + "'";
        } else if (obj instanceof Date) {
            DateFormat formatter = DateFormat.getDateTimeInstance(DateFormat.DEFAULT,
                    DateFormat.DEFAULT, Locale.CHINA);
            value = "'" + formatter.format(new Date()) + "'";
        } else {
            if (obj != null) {
                value = obj.toString();
            } else {
                value =  "null" ;
            }
        }
        return value;
    }

    // 进行?的替换
    public static String showSql(Configuration configuration, BoundSql boundSql) {
        // 获取参数
        Object parameterObject = boundSql.getParameterObject();
        List<ParameterMapping> parameterMappings = boundSql.getParameterMappings();
        // sql语句中多个空格都用一个空格代替
        String sql = boundSql.getSql().replaceAll("[\\s]+", " ");
        if (CollectionUtils.isNotEmpty(parameterMappings) && parameterObject != null) {
            // 获取类型处理器注册器,类型处理器的功能是进行java类型和数据库类型的转换
            TypeHandlerRegistry typeHandlerRegistry = configuration.getTypeHandlerRegistry();
            // 如果根据parameterObject.getClass()可以找到对应的类型,则替换
            if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) {
                sql = sql.replaceFirst("\\?",
                        Matcher.quoteReplacement(getParameterValue(parameterObject)));
            } else {
                // MetaObject主要是封装了originalObject对象,提供了get和set的方法用于获取和设置originalObject的属性值,主要支持对JavaBean、Collection、Map三种类型对象的操作
                MetaObject metaObject = configuration.newMetaObject(parameterObject);
                for (ParameterMapping parameterMapping : parameterMappings) {
                    String propertyName = parameterMapping.getProperty();
                    if (metaObject.hasGetter(propertyName)) {
                        Object obj = metaObject.getValue(propertyName);
                        sql = sql.replaceFirst("\\?",
                                Matcher.quoteReplacement(getParameterValue(obj)));
                    } else if (boundSql.hasAdditionalParameter(propertyName)) {
                        // 该分支是动态sql
                        Object obj = boundSql.getAdditionalParameter(propertyName);
                        sql = sql.replaceFirst("\\?",
                                Matcher.quoteReplacement(getParameterValue(obj)));
                    } else {
                        // 打印出缺失,提醒该参数缺失并防止错位
                        sql = sql.replaceFirst("\\?", "缺失");
                    }
                }
            }
        }
        return sql;
    }

    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        try {
            // 获取xml中的一个select/update/insert/delete节点,是一条SQL语句
            MappedStatement mappedStatement = (MappedStatement) invocation.getArgs()[0];
            Object parameter = null;
            // 获取参数,if语句成立,表示sql语句有参数,参数格式是map形式
            if (invocation.getArgs().length > 1) {
                parameter = invocation.getArgs()[1];
                System.out.println("parameter = " + parameter);
            }
            String sqlId = mappedStatement.getId(); // 获取到节点的id,即sql语句的id
            System.out.println("sqlId = " + sqlId);
            BoundSql boundSql = mappedStatement.getBoundSql(parameter); // BoundSql就是封装myBatis最终产生的sql类
            Configuration configuration = mappedStatement.getConfiguration(); // 获取节点的配置
            String sql = showSql(configuration, boundSql); // 获取到最终的sql语句
            TheadLocalUtil.instance().sql(sql);
            System.out.println("sql = " + sql);
        } catch (Exception e) {
            e.printStackTrace();
        }
        // 执行完上面的任务后,不改变原有的sql执行过程
        return invocation.proceed();
    }

}

将Mybatis拦截器加入配置:

@Configuration
public class SqlMonitorConfiguration {

    @Autowired
    SqlSessionFactory sqlSessionFactory;

    @Bean
    @DependsOn("sqlSessionFactory")
    public MybatisInterceptor mybatisInterceptor() {
        MybatisInterceptor mybatisInterceptor = new MybatisInterceptor();
        sqlSessionFactory.getConfiguration().addInterceptor(mybatisInterceptor);
        return mybatisInterceptor;
    }
}

ThreadLocalUtil:

/**
 * 由于运维需求,数据库异常后输出sql语句,引入TheadLocal
 * 用于异步多线程写数据库时,存sql语句,保持线程安全
 * <p>
 * 用完要记得finally里reset,防止内存泄漏
 *
 * @author lightonyang
 * @date 2022/10/31
 */
public class TheadLocalUtil {

    private static final ThreadLocal<TheadLocalUtil> LOCAL = ThreadLocal.withInitial(TheadLocalUtil::new);

    private String sql;

    private TheadLocalUtil() {
    }

    public static TheadLocalUtil instance() {
        return LOCAL.get();
    }

    public TheadLocalUtil reset() {
        sql = null;
        LOCAL.remove();
        return this;
    }

    /*用于链式添加*/
    public TheadLocalUtil sql(String sql) {
        this.sql = sql;
        return this;
    }

    public String getSql() {
        return sql;
    }

    public void setSql(String sql) {
        this.sql = sql;
    }
}

日志配置(将异常日志打印到单独的日志文件mysqlfail.log里):

<Appenders>
		<RollingFile name="mysqlFailFixedTimeFileAppender"
					 fileName="${sys:mumble.log.home}/idap-idasc-mysqlfail.log"
					 filePattern="${sys:mumble.log.home}/idap-idasc-mysqlfail.log.%d{yyyy-MM-dd_HH}-%i.log">
			<PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %c{1}(%F:%L) - %m%n"/>
			<Policies>
				<TimeBasedTriggeringPolicy/>
				<SizeBasedTriggeringPolicy size="200 MB"/>
			</Policies>
			<DefaultRolloverStrategy max="24"/>
		</RollingFile>
</Appenders>

<Loggers>
		<AsyncLogger name="mysqlFail" level="info" additivity="false"
					 includeLocation="true">
			<AppenderRef ref="mysqlFailFixedTimeFileAppender"/>
		</AsyncLogger>
</Loggers>

日志使用(在操作数据的Impl中catch异常,从ThreadLocal中拿出sql语句打印日志):

private static final Logger MYSQL_FAIL_LOG = LoggerFactory.getLogger("mysqlFail");

	try{
	···
	}catch{
		MYSQL_FAIL_LOG.info(TheadLocalUtil.instance().getSql(sql););
	}finally{
		TheadLocalUtil.reset();
	}

这种实现方法也经过了测试的压测,没有出现多线程下的sql语句覆盖的问题,也没有出现内存泄漏和性能问题,满足了需求的使用。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Mybatis映射文件之常用标签及特殊字符的处理方法

    Mybatis映射文件之常用标签及特殊字符的处理方法

    这篇文章主要介绍了Mybatis映射文件常用标签及特殊字符的处理,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-05-05
  • Springboot JPA 枚举Enum类型存入到数据库的操作

    Springboot JPA 枚举Enum类型存入到数据库的操作

    这篇文章主要介绍了Springboot JPA 枚举Enum类型存入到数据库的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • JAVA 文件监控 WatchService的示例方法

    JAVA 文件监控 WatchService的示例方法

    本篇文章主要介绍了JAVA 文件监控 WatchService的示例方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-10-10
  • Spring Cloud微服务之间调用Dubbo的详细过程

    Spring Cloud微服务之间调用Dubbo的详细过程

    SpringCloudAlibabaDubbo是阿里巴巴开源的Dubbo与SpringCloud的深度集成方案,本文介绍Spring Cloud微服务之间调用Dubbo的详细过程,感兴趣的朋友跟随小编一起看看吧
    2026-02-02
  • Java 方法的定义与调用详解

    Java 方法的定义与调用详解

    在java中,方法就是用来完成解决某件事情或实现某个功能的办法。方法实现的过程中,会包含很多条语句用于完成某些有意义的功能——通常是处理文本,控制输入或计算数值,这篇文章我们来探究一下方法的定义与调用
    2022-04-04
  • Spring Boot + Mybatis多数据源和动态数据源配置方法

    Spring Boot + Mybatis多数据源和动态数据源配置方法

    最近做项目遇到这样的应用场景,项目需要同时连接两个不同的数据库A, B,并且它们都为主从架构,一台写库,多台读库。下面小编给大家带来了Spring Boot + Mybatis多数据源和动态数据源配置方法,需要的朋友参考下吧
    2018-01-01
  • 一文总结Java实现TXT转PDF的三种高效方案

    一文总结Java实现TXT转PDF的三种高效方案

    将 TXT 文本转换为 PDF 并不繁琐,本篇指南将介绍根据三种实用的转换技巧,包括手动操作、在线工具和程序化自动处理,助你轻松搞定文档迁移,希望对大家有所帮助
    2026-02-02
  • SpringCloud如何使用Eureka实现服务之间的传递数据

    SpringCloud如何使用Eureka实现服务之间的传递数据

    这篇文章主要介绍了SpringCloud使用Eureka实现服务之间的传递数据操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-06-06
  • springcloud部署提示 找不到url的解决

    springcloud部署提示 找不到url的解决

    这篇文章主要介绍了springcloud部署提示 找不到url的解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教。
    2022-01-01
  • 使用String类型小数值转换为Long类型

    使用String类型小数值转换为Long类型

    这篇文章主要介绍了使用String类型小数值转换为Long类型操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-09-09

最新评论