Java EasyExcel读写excel如何解决poi读取大文件内存溢出问题

 更新时间:2024年06月17日 10:48:44   作者:编程经验分享  
这篇文章主要介绍了Java EasyExcel读写excel如何解决poi读取大文件内存溢出问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

问题

以前项目使用 poi 读写 excel,但是 excel 中的数据量太大的话,用 poi 读取时就会导致 OOM 异常,这是因为 poi 在读取数据时,是将全部数据一次性都加载到内存中。

如何解决

使用EasyExcel,以下是使用示例。

使用示例

pom

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>3.1.3</version>
        </dependency>

监听器

public class ProductListener extends AnalysisEventListener<Product> {

    private static final int BATCH_COUNT = 1000;

    private final List<Product> list = new ArrayList<>();

    private int totalCount;

    public ProductListener() {}

    @Override
    public void invoke(Product product, AnalysisContext analysisContext) {
        list.add(product);
        if(list.size() >= BATCH_COUNT){
            saveData();
            list.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        saveData();
        System.out.printf("数据同步完成,总数量为:%s%n",totalCount);
    }


    public void saveData(){
        if(!list.isEmpty()){
            for (Product product : list) {
                insertIgnore(product);
            }
        }
    }

    public void insertIgnore(Product product) {
        try {
            // 执行数据库操作
            System.out.println(product.getName());
            ++totalCount;
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

实体类

public class Product {

    private Long id;

    @ExcelProperty("name")
    private String name;

    @ExcelProperty("quantity")
    private Long quantity;

    @ExcelProperty("desc")
    private String desc;

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Long getQuantity() {
        return quantity;
    }

    public void setQuantity(Long quantity) {
        this.quantity = quantity;
    }

    public String getDesc() {
        return desc;
    }

    public void setDesc(String desc) {
        this.desc = desc;
    }
}

读写方法

public class MyEasyExcel {

    public static void read(String filePath) {

        try (InputStream inputStream = Files.newInputStream(Paths.get(filePath))) {
            EasyExcel.read(inputStream, Product.class, new ProductListener())
                    .sheet()
                    .doRead();
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

    public static void write(List<Product> data, String filePath) {

        try (OutputStream outputStream = Files.newOutputStream(Paths.get(filePath))) {
            ExcelWriterBuilder writerBuilder = EasyExcel.write(outputStream, Product.class);
            writerBuilder.sheet("Data").doWrite(data);
        } catch (Exception e) {
            // 处理异常
        }
    }
}

测试类

class MyEasyExcelTest {

    @Test
    void read() {
        String filePath = "C:\\Users\\XXX\\Desktop\\excel.xlsx";
        MyEasyExcel.read(filePath);
    }

    @Test
    void write() {
        List<Product> products = new ArrayList<>();
        Product product = new Product();
        product.setId(1L);
        product.setName("qwe");
        product.setDesc("abc");
        product.setQuantity(1342L);
        products.add(product);

        String filePath = "C:\\Users\\XXX\\Desktop\\excel.xlsx";

        MyEasyExcel.write(products, filePath);
    }
}

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Java实现百万数据导出Excel的详细指南

    Java实现百万数据导出Excel的详细指南

    这篇文章主要为大家详细介绍了使用Java语言实现百万数据导出Excel的详细方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2025-07-07
  • Java编写掷骰子游戏

    Java编写掷骰子游戏

    这篇文章主要介绍了Java编写掷骰子游戏,需要的朋友可以参考下
    2015-11-11
  • IntelliJ IDEA中初始化Java类的常用快捷方法详解

    IntelliJ IDEA中初始化Java类的常用快捷方法详解

    这篇文章主要为大家详细介绍了IntelliJ IDEA中初始化Java类并设置所有属性的常用快捷方法,文中的示例代码讲解详细,需要的小伙伴可以参考下
    2026-02-02
  • 基于Ant路径匹配规则AntPathMatcher的注意事项

    基于Ant路径匹配规则AntPathMatcher的注意事项

    这篇文章主要介绍了基于Ant路径匹配规则AntPathMatcher的注意事项,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-11-11
  • IDEA创建的maven项目中pom.xml增加新依赖无效问题及解决

    IDEA创建的maven项目中pom.xml增加新依赖无效问题及解决

    在IDEA中,解决maven项目pom.xml增加依赖但外部库未更新的问题,可以通过设置"构建脚本更改后同步项目"选项为"任何更改",然后刷新Maven项目来解决
    2025-01-01
  • MyBatis逆向⼯程的生成过程

    MyBatis逆向⼯程的生成过程

    MyBatis官方为我们提供了一个逆向工程,通过这个逆向工程,只要建立好数据表,那么MyBatis就会根据这个表自动生成pojo类、dao接口、sql映射文件
    2023-02-02
  • Netty分布式ByteBuf使用SocketChannel读取数据过程剖析

    Netty分布式ByteBuf使用SocketChannel读取数据过程剖析

    这篇文章主要为大家介绍了Netty源码分析ByteBuf使用SocketChannel读取数据过程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-03-03
  • Java写哈希表的完整实例代码

    Java写哈希表的完整实例代码

    Java中的哈希表是数据结构中的一个重要组成部分,用于高效存储和查找数据,这篇文章主要介绍了Java写哈希表的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2026-03-03
  • Java的application.yml文件的配置全过程

    Java的application.yml文件的配置全过程

    本文介绍了在Java项目中使用application.yml文件进行配置的方法,重点讲解了数据源、连接池、MyBatis、MyBatis-Plus和Redis的配置,同时,还介绍了如何使用别名来简化MyBatis的配置
    2026-03-03
  • Spring中@ConfigurationProperties的用法解析

    Spring中@ConfigurationProperties的用法解析

    这篇文章主要介绍了Spring中@ConfigurationProperties的用法解析,传统的Spring一般都是基本xml配置的,后来spring3.0新增了许多java config的注解,特别是spring boot,基本都是清一色的java config,需要的朋友可以参考下
    2023-11-11

最新评论