Java项目中大批量数据查询导致OOM的解决

 更新时间:2023年06月26日 11:48:50   作者:逆流°只是风景-bjhxcc  
本文主要介绍了Java项目中大批量数据查询导致OOM的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

背景

项目中有时候一次性将大批量数据都查出来到内存中导致内存占用过多很可能会导致内存溢出

内存溢出的具体原因

在JVM内存结构中分为以下几个模块

  • 程序计数器
  • 虚拟机栈
  • 本地方法栈
  • 堆内存
  • 方法区

程序中的实例对象包括从数据库读取的数据是存在堆内存中的。所以这里的OutOfMemoryError是因为数据量过大超过了堆内存中设置的最大内存,一次性读取的数据太多导致内存容纳不下,抛出了内存异常

错误模拟

如果堆的内存大小超过 -Xmx 设定的最大内存, 就会抛出 OutOfMemoryError 异常,先准备好数据在启动项目时把堆内存的最大值设置小一点就可以进行模拟内存溢出的异常

搭建一个本地项目。需求描述:查询表call_task中待拨打的数据进行拨打,call_task中一次可能会有大批量数据需要处理。本次准备了1万条数据

/**
 * 查询数据执行拨打
 **/
@Override
public void waitingCall() {
    List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, new Date())
    );
    if (CollUtil.isEmpty(waitingTaskList)) {
        return;
    }
    call(waitingTaskList);
}
/**
 * 模拟执行具体拨打数据
 **/
private void call(List<CallTask> waitingTaskList) {
    try {
        TimeUnit.SECONDS.sleep(5);
    } catch (InterruptedException e) {
        throw new RuntimeException(e);
    }
}

启动项目时将JVM堆内存的大小调整到合适数值(可以造成内存溢出的情况)。本次最大设置的20m,最小设置的10m

  • -Xmx用来表示堆的最大内存
  • -Xms用来表示堆的最小内存

idea设置方式, 选择 run/debug configurations 设置 VM options

问题复现

启动程序执行方法,程序出现错误 java.lang.OutOfMemoryError: Java heap space

解决办法

既然是数据量过大导致的问题,我们可以减少每次查询的数据来解决这个问题

使用分页查询,避免一次性查询所有的数据,分批次处理

public void methodOne() {
    long page = 1;
    long limit = 500;
    long total;
    do {
        Page<CallTask> taskPage = new Page<>(page, limit);
        Page<CallTask> pagResult = page(taskPage,
                Wrappers.<CallTask>lambdaQuery()
                        .eq(CallTask::getCallStatus, "WAITING")
                        .le(CallTask::getReqTime, new Date()));
        total = pagResult.getTotal();
        List<CallTask> records = pagResult.getRecords();
        if (CollUtil.isEmpty(records)) {
            break;
        }
        call(records);
        page++;
    } while (page * limit < total);
}

使用流式查询

public void methodTwo() {
    Date reqDate = new Date();
    LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, reqDate);
    int batchSize = 1000;
    int offset = 0;
    while (true) {
        List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize));
        if (CollUtil.isEmpty(taskList)) {
            break;
        }
        offset += batchSize;
        call(taskList);
    }
}

流式查询和分页查询的使用场景

分页查询通常用于展示数据,如在网页上显示数据列表,需要分页展示。而流式查询通常用于数据处理,如在数据清洗、数据分析等场景中

查询数据的建议

减少查询字段,避免 select *

到此这篇关于Java项目中大批量数据查询导致OOM的解决的文章就介绍到这了,更多相关Java数据查询导致OOM内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Spring中基于XML的AOP配置详解

    Spring中基于XML的AOP配置详解

    这篇文章主要介绍了Spring中基于XML的AOP配置,本文通过图文实例相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-10-10
  • Spring中@Autowired @Resource @Inject三个注解有什么区别

    Spring中@Autowired @Resource @Inject三个注解有什么区别

    在我们使用Spring框架进行日常开发过程中,经常会使用@Autowired, @Resource, @Inject注解来进行依赖注入,下面来介绍一下这三个注解有什么区别
    2023-03-03
  • Java深入讲解Bean作用域与生命周期

    Java深入讲解Bean作用域与生命周期

    这篇文章主要介绍了浅谈Spring中Bean的作用域和生命周期,从创建到消亡的完整过程,例如人从出生到死亡的整个过程就是一个生命周期。本文将通过示例为大家详细讲讲,感兴趣的可以学习一下
    2022-06-06
  • MyBatis SpringMVC整合实现步骤详解

    MyBatis SpringMVC整合实现步骤详解

    这篇文章主要介绍了MyBatis SpringMVC整合实现步骤详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • feign远程调用无法传递对象属性405的问题

    feign远程调用无法传递对象属性405的问题

    这篇文章主要介绍了feign远程调用无法传递对象属性405的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-03-03
  • IDEA JarEditor编辑jar包方式(直接新增,修改,删除jar包内的class文件)

    IDEA JarEditor编辑jar包方式(直接新增,修改,删除jar包内的class文件)

    文章主要介绍了如何使用IDEA的JarEditor插件直接修改jar包内的class文件,而不需要手动解压、反编译和重新打包,通过该插件,可以更方便地进行jar包的修改和测试
    2025-01-01
  • 如何在java 8 stream表达式实现if/else逻辑

    如何在java 8 stream表达式实现if/else逻辑

    这篇文章主要介绍了如何在java 8 stream表达式实现if/else逻辑,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04
  • Spring Data JPA框架的Repository自定义实现详解

    Spring Data JPA框架的Repository自定义实现详解

    Spring Data JPA是Spring基于JPA规范的基础上封装的⼀套 JPA 应⽤框架,可使开发者⽤极简的代码即可实现对数据库的访问和操作,本篇我们来了解Spring Data JPA框架的Repository自定义实现
    2022-04-04
  • java实现2048小游戏(含注释)

    java实现2048小游戏(含注释)

    这篇文章主要为大家介绍了java实现2048小游戏,含详细注释,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-04-04
  • Java实现购物管理系统

    Java实现购物管理系统

    这篇文章主要为大家详细介绍了Java实现购物管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-01-01

最新评论