mybatis如何对大量数据的游标查询

 更新时间:2024年01月27日 09:26:34   作者:喵主子  
这篇文章主要介绍了mybatis如何对大量数据的游标查询问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

mybatis对大量数据的游标查询

mapper定义

@Mapper
public interface NewsRepository {
 
    String simpleQuery="select news.id,news.title,news.keywords," +
            "    news.url,news.author," +
            "    data.content,news.inputtime,news.updatetime " +
            " from news news join news_data data on news.id=data.id";
 
    /**
     * 使用游标查询数据数据
     * @return
     */
  
    @Select(value = simpleQuery +
            " where status=1" +
            " order by news.id asc")
    @Options(fetchSize = Integer.MIN_VALUE)//mysql情况比较特殊,只能这样设置
    Cursor<News> scrollResult();
 
}

service内使用

Cursor<News> cursor= repository.scrollResult();
Iterator<News> iter= cursor.iterator();
int count=0;
while (iter.hasNext()){
     System.err.println(iter.next().title);
     ..........
}

mybatis游标查询 org.apache.ibatis.cursor.Cursor

先说使用场景:针对超大数据,内存不够存储数据。

假设有一个1千万的日志数据,需要将这一千万的数据,全部都清洗一遍,从每一条的数据中查询出匹配的有效数据,且不能修改原始数据。

第一种办法

一次性查出来,内存不够,而且会很慢,不可取。

这种方法就直接放弃。

第二种办法

分页查询, 每次查询1000条,每次处理完后,再分页查询。

这种分页查询,分页会很慢,除非是有索引id,通过顺序读取,还有可以优化一下。

第三种办法

游标查询 org.apache.ibatis.cursor.Cursor

数据库查询DAO

TempStudent 数据POJO

  @Select(" SELECT * FROM temp_student ")
   Cursor<TempStudent> findListForCursor();

查询的service

    @Transactional
    public void scanTempStudent() {
        Cursor<TempStudent> cursor = tempStudentDao.findListForCursor();
        
        cursor.forEach(foo -> {
            System.out.println(foo.getId() + ":" + foo.getName());
        });
    }

特别注意,需要加上一个注解 Transactional, 事物的注解

为什么呢?

在取数据的过程中需要保持数据库连接,而 Mapper 方法通常在执行完后连接就关闭了,因此 Cusor 也一并关闭了,所以加上了事物保障就可以

Spring 框架当中注解使用的坑:只在外部调用时生效。在当前类中调用这个方法,依旧会报错。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Java 十大排序算法之堆排序刨析

    Java 十大排序算法之堆排序刨析

    堆排序是利用堆这种数据结构而设计的一种排序算法,堆排序是一种选择排序,它的最坏,最好,平均时间复杂度均为O(nlogn),它也是不稳定排序。首先简单了解下堆结构
    2021-11-11
  • Eclipse插件大全 挑选最牛的TOP30(全)

    Eclipse插件大全 挑选最牛的TOP30(全)

    ?“Eclipse最牛的30个插件”不知道看官们是否了解,风少侠特意翻译出来奉献给各位,希望大家喜欢
    2013-02-02
  • Java和C#输入输出流的方法(详解)

    Java和C#输入输出流的方法(详解)

    下面小编就为大家带来一篇Java和C#输入输出流的方法(详解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-10-10
  • 深入解析Spring中的@Bean注解

    深入解析Spring中的@Bean注解

    这篇文章主要介绍了深入解析Spring中的@Bean注解,Spring的@Bean注解用于告诉方法,产生一个Bean对象,然后这个Bean对象交给Spring管理,产生这个Bean对象的方法Spring只会调用一次,随后这个Spring将会将这个Bean对象放在自己的IOC容器中,需要的朋友可以参考下
    2023-07-07
  • Java进阶学习之如何开启远程调式

    Java进阶学习之如何开启远程调式

    Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,这篇文章主要介绍了Java进阶学习之如何开启远程调式的相关资料,需要的朋友可以参考下
    2025-03-03
  • Java8中如何通过方法引用获取属性名详解

    Java8中如何通过方法引用获取属性名详解

    这篇文章主要给大家介绍了关于Java8中如何通过方法引用获取属性名的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • 利用spring boot如何快速启动一个web项目详解

    利用spring boot如何快速启动一个web项目详解

    这篇文章主要给大家介绍了关于利用spring boot如何快速启动一个web项目的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧、
    2017-12-12
  • Spring Security 密码验证动态加盐的验证处理方法

    Spring Security 密码验证动态加盐的验证处理方法

    小编最近在改造项目,需要将gateway整合security在一起进行认证和鉴权,今天小编给大家分享Spring Security 密码验证动态加盐的验证处理方法,感兴趣的朋友一起看看吧
    2021-06-06
  • Java实现三子棋小游戏简易版

    Java实现三子棋小游戏简易版

    这篇文章主要为大家详细介绍了Java实现三子棋小游戏简易版,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-05-05
  • Java ShardingJDBC实战演练

    Java ShardingJDBC实战演练

    Sharding-JDBC 采用在 JDBC 协议层扩展分库分表,是一个以 jar 形式提供服务的轻量级组件,其核心思路是小而美地完成最核心的事情
    2021-11-11

最新评论