MySQL中使用流式查询避免数据OOM

 更新时间:2021年01月04日 10:20:19   作者:zlt2000  
这篇文章主要介绍了MySQL中使用流式查询避免数据OOM,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

一、前言

程序访问MySQL数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。

其实在MySQL数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普通查询进行性能测试。

二、JDBC实现流式查询

使用JDBC的PreparedStatement/StatementsetFetchSize方法设置为Integer.MIN_VALUE或者使用方法Statement.enableStreamingResults()可以实现流式查询,在执行ResultSet.next()方法时,会通过数据库连接一条一条的返回,这样也不会大量占用客户端的内存。

public int execute(String sql, boolean isStreamQuery) throws SQLException {
 Connection conn = null;
 PreparedStatement stmt = null;
 ResultSet rs = null;
 int count = 0;
 try {
  //获取数据库连接
  conn = getConnection();
  if (isStreamQuery) {
   //设置流式查询参数
   stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
   stmt.setFetchSize(Integer.MIN_VALUE);
  } else {
   //普通查询
   stmt = conn.prepareStatement(sql);
  }

  //执行查询获取结果
  rs = stmt.executeQuery();
  //遍历结果
  while(rs.next()){
   System.out.println(rs.getString(1));
   count++;
  }
 } catch (SQLException e) {
  e.printStackTrace();
 } finally {
  close(stmt, rs, conn);
 }
 return count;
}

「PS」:上面的例子中通过参数isStreamQuery来切换「流式查询」「普通查询」,用于下面做测试对比。

三、性能测试

创建了一张测试表my_test进行测试,总数据量为27w条,分别使用以下4个测试用例进行测试:

  • 大数据量普通查询(27w条)
  • 大数据量流式查询(27w条)
  • 小数据量普通查询(10条)
  • 小数据量流式查询(10条)

3.1. 测试大数据量普通查询

@Test
public void testCommonBigData() throws SQLException {
 String sql = "select * from my_test";
 testExecute(sql, false);
}

3.1.1. 查询耗时

27w 数据量用时 38 秒

3.1.2. 内存占用情况

使用将近 1G 内存

3.2. 测试大数据量流式查询

@Test
public void testStreamBigData() throws SQLException {
 String sql = "select * from my_test";
 testExecute(sql, true);
}

3.2.1. 查询耗时

27w 数据量用时 37 秒

3.2.2. 内存占用情况

由于是分批获取,所以内存在30-270m波动

3.3. 测试小数据量普通查询

@Test
public void testCommonSmallData() throws SQLException {
 String sql = "select * from my_test limit 100000, 10";
 testExecute(sql, false);
}

3.3.1. 查询耗时

10 条数据量用时 1 秒

3.4. 测试小数据量流式查询

@Test
public void testStreamSmallData() throws SQLException {
 String sql = "select * from my_test limit 100000, 10";
 testExecute(sql, true);
}

3.4.1. 查询耗时

10 条数据量用时 1 秒

四、总结

MySQL 流式查询对于内存占用方面的优化还是比较明显的,但是对于查询速度的影响较小,主要用于解决大数据量查询时的内存占用多的场景。

「DEMO地址」:https://github.com/zlt2000/mysql-stream-query

到此这篇关于MySQL中使用流式查询避免数据OOM的文章就介绍到这了,更多相关MySQL 流式查询内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • MySQL索引使用全程分析

    MySQL索引使用全程分析

    本文将介绍MySQL索引详细使方法;需要的朋友可以参考下
    2012-11-11
  • 解决Navicat for MySQL 连接 MySQL 报2005错误的问题

    解决Navicat for MySQL 连接 MySQL 报2005错误的问题

    在本地MySQL的服务启动后,由于Navicat的一些功能需要联网才可以使用,今天重点给大家介绍Navicat for MySQL 连接 MySQL 报2005 -Unknown MySQL server host ‘localhost’(0)错误的情况与解决方法,感兴趣的朋友一起看看吧
    2021-05-05
  • 解析mysql二进制日志处理事务与非事务性语句的区别

    解析mysql二进制日志处理事务与非事务性语句的区别

    本篇文章是对mysql二进制日志处理事务与非事务性语句的区别进行了详细的分析介绍,需要的朋友参考下
    2013-06-06
  • Mysql和文件系统的关联详情

    Mysql和文件系统的关联详情

    这篇文章主要介绍了Mysql和文件系统的关联详情,Mysql常用的存储引擎如InnoDB、MyISAM采用的是文件存储,自然和文件系统挂钩,那么Mysql都有哪些地方用到了文件系统呢,下面我们一起进入文章学习详细内容吧
    2022-09-09
  • 深度分析mysql GROUP BY 与 ORDER BY

    深度分析mysql GROUP BY 与 ORDER BY

    鉴于项目的需要,就从网上找到该文章,文章分析得很详细也很易懂,在android里,(不知道是不是现在水平的限制,总之我还没找到在用ContentProvider时可以使用子查询),主要方法是用SQLiteDatabase 的 rawQuery,直接运行sql语句就可以了。
    2014-06-06
  • Windows下MySQL5.7.18安装教程

    Windows下MySQL5.7.18安装教程

    这篇文章主要为大家详细介绍了Windows下MySQL5.7.18安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-07-07
  • MYSQL SQL查询近7天一个月的数据的操作方法

    MYSQL SQL查询近7天一个月的数据的操作方法

    这篇文章主要介绍了MYSQL SQL查询近7天一个月的数据的操作方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-04-04
  • mysql利用init-connect增加访问审计功能的实现

    mysql利用init-connect增加访问审计功能的实现

    下面小编就为大家带来一篇mysql利用init-connect增加访问审计功能的实现。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • MySQL btree索引与hash索引区别

    MySQL btree索引与hash索引区别

    这篇文章主要介绍了MySQL btree索引与hash索引区别,帮助大家更好的理解和学习MySQL索引的相关知识,感兴趣的朋友可以了解下
    2020-09-09
  • mysql 删除操作(delete+TRUNCATE)

    mysql 删除操作(delete+TRUNCATE)

    这篇文章主要介绍了mysql 删除操作,主要包括了delete与TRUNCATE的使用,需要的朋友可以参考下
    2014-11-11

最新评论