Java项目中大批量数据查询导致OOM的解决

 更新时间:2023年06月26日 11:48:50   作者:逆流°只是风景-bjhxcc  
本文主要介绍了Java项目中大批量数据查询导致OOM的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

背景

项目中有时候一次性将大批量数据都查出来到内存中导致内存占用过多很可能会导致内存溢出

内存溢出的具体原因

在JVM内存结构中分为以下几个模块

  • 程序计数器
  • 虚拟机栈
  • 本地方法栈
  • 堆内存
  • 方法区

程序中的实例对象包括从数据库读取的数据是存在堆内存中的。所以这里的OutOfMemoryError是因为数据量过大超过了堆内存中设置的最大内存,一次性读取的数据太多导致内存容纳不下,抛出了内存异常

错误模拟

如果堆的内存大小超过 -Xmx 设定的最大内存, 就会抛出 OutOfMemoryError 异常,先准备好数据在启动项目时把堆内存的最大值设置小一点就可以进行模拟内存溢出的异常

搭建一个本地项目。需求描述:查询表call_task中待拨打的数据进行拨打,call_task中一次可能会有大批量数据需要处理。本次准备了1万条数据

/**
 * 查询数据执行拨打
 **/
@Override
public void waitingCall() {
    List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, new Date())
    );
    if (CollUtil.isEmpty(waitingTaskList)) {
        return;
    }
    call(waitingTaskList);
}
/**
 * 模拟执行具体拨打数据
 **/
private void call(List<CallTask> waitingTaskList) {
    try {
        TimeUnit.SECONDS.sleep(5);
    } catch (InterruptedException e) {
        throw new RuntimeException(e);
    }
}

启动项目时将JVM堆内存的大小调整到合适数值(可以造成内存溢出的情况)。本次最大设置的20m,最小设置的10m

  • -Xmx用来表示堆的最大内存
  • -Xms用来表示堆的最小内存

idea设置方式, 选择 run/debug configurations 设置 VM options

问题复现

启动程序执行方法,程序出现错误 java.lang.OutOfMemoryError: Java heap space

解决办法

既然是数据量过大导致的问题,我们可以减少每次查询的数据来解决这个问题

使用分页查询,避免一次性查询所有的数据,分批次处理

public void methodOne() {
    long page = 1;
    long limit = 500;
    long total;
    do {
        Page<CallTask> taskPage = new Page<>(page, limit);
        Page<CallTask> pagResult = page(taskPage,
                Wrappers.<CallTask>lambdaQuery()
                        .eq(CallTask::getCallStatus, "WAITING")
                        .le(CallTask::getReqTime, new Date()));
        total = pagResult.getTotal();
        List<CallTask> records = pagResult.getRecords();
        if (CollUtil.isEmpty(records)) {
            break;
        }
        call(records);
        page++;
    } while (page * limit < total);
}

使用流式查询

public void methodTwo() {
    Date reqDate = new Date();
    LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, reqDate);
    int batchSize = 1000;
    int offset = 0;
    while (true) {
        List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize));
        if (CollUtil.isEmpty(taskList)) {
            break;
        }
        offset += batchSize;
        call(taskList);
    }
}

流式查询和分页查询的使用场景

分页查询通常用于展示数据,如在网页上显示数据列表,需要分页展示。而流式查询通常用于数据处理,如在数据清洗、数据分析等场景中

查询数据的建议

减少查询字段,避免 select *

到此这篇关于Java项目中大批量数据查询导致OOM的解决的文章就介绍到这了,更多相关Java数据查询导致OOM内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • spring boot入门之诞生背景及优势影响

    spring boot入门之诞生背景及优势影响

    这篇文章主要为大家描述说明了介绍了spring boot诞生的背景以及其产生的优势影响,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2022-03-03
  • Java延时执行的三种实现方式

    Java延时执行的三种实现方式

    本文主要介绍了Java延时执行的三种实现方式,主要包括了Thread.sleep()方法,.sleep()使用Timer类或使用ScheduledExecutorService接口,感兴趣的可以了解一下
    2023-12-12
  • 一文搞懂Spring中Bean的生命周期

    一文搞懂Spring中Bean的生命周期

    这篇文章主要为大家介绍了Spring中Bean生命周期的使用及控制,文中的示例代码讲解详细,对我们学习或工作有一定的参考价值,感兴趣的可以学习一下
    2022-06-06
  • Spring Boot使用线程池处理上万条数据插入功能

    Spring Boot使用线程池处理上万条数据插入功能

    这篇文章主要介绍了Spring Boot使用线程池处理上万条数据插入功能,使用步骤是先创建一个线程池的配置,让Spring Boot加载,用来定义如何创建一个ThreadPoolTaskExecutor,本文通过实例代码给大家介绍的非常详细,需要的朋友参考下吧
    2022-08-08
  • Java命令行下Jar包打包小结

    Java命令行下Jar包打包小结

    这篇文章主要介绍了Java命令行下Jar包打包小结,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-12-12
  • SpringBoot通过@Scheduled实现定时任务及单线程运行问题解决

    SpringBoot通过@Scheduled实现定时任务及单线程运行问题解决

    Scheduled定时任务是Spring boot自身提供的功能,所以不需要引入Maven依赖包,下面这篇文章主要给大家介绍了关于SpringBoot通过@Scheduled实现定时任务以及问题解决的相关资料,需要的朋友可以参考下
    2023-02-02
  • SpringBoot异常处理之异常显示的页面问题

    SpringBoot异常处理之异常显示的页面问题

    这篇文章主要介绍了SpringBoot异常处理异常显示的页面的问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-09-09
  • Java Mybatis的初始化之Mapper.xml映射文件的详解

    Java Mybatis的初始化之Mapper.xml映射文件的详解

    这篇文章主要介绍了Java Mybatis的初始化之Mapper.xml映射文件的详解,解析完全局配置文件后接下来就是解析Mapper文件了,它是通过XMLMapperBuilder来进行解析的
    2022-08-08
  • java程序中指定某个浏览器打开的实现方法

    java程序中指定某个浏览器打开的实现方法

    最近工作中遇到一个需求,是要利用java打开指定浏览器,整理后发现有四种解决的方法,所以想着分享出来,下面这篇文章主要给大家介绍了java程序中指定某个浏览器打开的实现方法,,需要的朋友可以参考下。
    2017-03-03
  • SpringBoot项目中的多数据源支持的方法

    SpringBoot项目中的多数据源支持的方法

    本篇文章主要介绍了SpringBoot项目中的多数据源支持的方法,主要介绍在SpringBoot项目中利用SpringDataJpa技术如何支持多个数据库的数据源,有兴趣的可以了解一下
    2017-10-10

最新评论