Spring Boot + EasyExcel + SqlServer 进行批量处理数据的高效方法

 更新时间:2024年06月12日 12:09:12   作者:天纵云裳  
在日常开发和工作中,我们可能要根据用户上传的文件做一系列的处理,本篇文章就以Excel表格文件为例,主要介绍了Spring Boot + EasyExcel + SqlServer 进行批量处理数据的高效方法,需要的朋友可以参考下

前言

在日常开发和工作中,我们可能要根据用户上传的文件做一系列的处理,本篇文章就以Excel表格文件为例,模拟用户上传Excel文件,讲述后端如何高效的进行数据的处理。

一.引入 EasyExcel  依赖

        <!-- https://mvnrepository.com/artifact/com.alibaba/easyexcel -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>3.3.2</version>
        </dependency>

二.在接口中编写代码

(一).使用什么参数接收?

由于用户上传的是一个Excel文件,也就是说前端发来的是一个Excel表格的文件,那么我们后端就需要使用  MultipartFile file  来进行接收

 @PostMapping("/importExcelUpdateFlag")
    public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {
           //具体代码......
    }

(二).如何存储到本地目录中(最后说为什么存储到本地)

既然前端发来了一个Excel文件,后端需要对其进行重命名还有大量的数据处理,那么如何存储到本地是一个问题。我们在三层架构的基础上,这个存储到本地的工作一般放在 Service 层进行处理。

Controller层的代码

下面的 uploadPath(也就是你要存储到本地的目录) 是自己在 yml文件中定义好的,然后进行使用,截图如下:

@PostMapping("/importExcelUpdateFlag")
    public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {
        //把前端发来的文件数据,传到本机指定的 uploadPath 目录之下
        String pathAndFileName = jdCloudService.uploadFile(file,uploadPath);
         //其他代码....
    }

注意这里 pathAndFileName 接收的是一个本地路径,后续需要根据这个路径找到指定文件

Service 层的代码

    @Override
    public String uploadFile(MultipartFile file, String uploadPath) {
        if(file.isEmpty()){
            return "上传文件为空";
        }
        try {
            String originalFilename = StringUtils.cleanPath(file.getOriginalFilename());
            String fileExtension = originalFilename.substring(originalFilename.lastIndexOf("."));
            String newFilename = generateFilename() + fileExtension;
            File targetFile = new File(uploadPath + File.separator + newFilename);
            file.transferTo(targetFile);
            return uploadPath + "\\" + newFilename;
        } catch (Exception e) {
            return "文件上传失败: " +  e.getMessage();
        }
    }
    private String generateFilename() {
        // 根据你的需求生成新的文件名,例如使用时间戳或随机字符串等,这里使用时间戳
        return String.valueOf("更新文件名.." + System.currentTimeMillis());
    }
代码解读:我们假设前端传来了一个 hello.xlsx 文件

String originalFilename = StringUtils.cleanPath(file.getOriginalFilename());这行代码会将 "hello.xlsx " 赋值给 originalFilename 变量。

String fileExtension = originalFilename.substring(originalFilename.lastIndexOf("."));

这行代码会从 "hello.txt" 中提取出文件扩展名 ".txt",并将其赋值给 fileExtension 变量。

String newFilename = generateFilename() + fileExtension;

这行代码会调用 generateFilename() 方法生成一个新的唯一文件名,例如 "abc123"。将生成的文件名 "abc123.xlsx" 与文件扩展名 ".txt" 拼接,赋值给 newFilename 变量。

File targetFile = new File(uploadPath + File.separator + newFilename);

假设 uploadPath 是 "/path/to/uploads/"。这行代码会创建一个 File 对象,代表文件的保存路径和文件名 "/path/to/uploads/abc123.xlsx"。那么这个就会创建出文件了(但是没有内容)

file.transferTo(targetFile);

这行代码会将用户上传的 "hello.xlsx" 文件的内容,写入到 "/path/to/uploads/abc123.xlsx" 文件中。

通过这样的处理,原本名为 "hello.xlsx" 的文件会被保存为 "abc123.xlsx",并且保存在 "/path/to/uploads/" 目录下。这样可以避免文件名与现有文件发生冲突,确保文件上传的安全性。

注意这里返回给 Controller 层的是一个本地目录,是根据目录来找到指定的文件!

三.假设需求

现在假设我们本地指定的目录下面已经有用户上传的文件了,那么我们要对这个文件进行一系列的处理。 现在假设我们的需求是根据Excel文件中用户的 工号,更新用户的 Flag 标签(0变为1)

那么应该如何做呢?

继续编写代码

Controller层

    @PostMapping("/importExcelUpdateFlag")
    public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {
        Map<String,Object> response = new HashMap<>();
        response.put("code",0);
        response.put("data",":");
        //把前端发来的文件数据,传到本机指定的 uploadPath 目录之下
        String pathAndFileName = jdCloudService.uploadFile(file,uploadPath);
        if(pathAndFileName.equals("上传文件为空") || pathAndFileName.equals("文件上传失败")) {
            response.put("msg",pathAndFileName);
            return response;
        }
        String feedBackMsg = jdCloudService.enableFlagUpdate(pathAndFileName);
        response.put("msg",feedBackMsg);
        return response;
    }

这里主要是 feedBackMsg,这个调用的 Service 层的代码是处理表格数据的主要内容,我们来看

Service层

    @Override
    public String enableFlagUpdate(String filename) {
        //获取 PersonSynData 类的 Class 对象。
        Class<PersonSynData> head = PersonSynData.class;
        List<PersonSynData> updateList = new ArrayList<>();
        ExcelReader excelReader = EasyExcel.read(filename, head, new AnalysisEventListener<PersonSynData>() {
            @Override
            public void invoke(PersonSynData personSynData, AnalysisContext analysisContext) {
                updateList.add(personSynData);
            }
            @Override
            public void doAfterAllAnalysed(AnalysisContext analysisContext) {
                System.out.println("Excel解析完成......");
            }
        }).build();
        //创建 sheet 对象,并且读取Excel的第一个sheet(下表从0开始),也可以根据 sheet 名称获取
        ReadSheet readSheet = EasyExcel.readSheet(0).build();
        //读取 sheet 表格数据,参数是可变参数,也可以读取多个sheet
        //这个操作会读取 excel 表格的数据
        excelReader.read(readSheet);
        //需要自己关闭流操作,在读取文件的时候会创建临时文件,如果不关闭的话,会损耗磁盘
        excelReader.finish();
    }

代码解读:

1.首先获取到实体类的 class 对象,后续需要进行使用

2.updateList 是要存储 Excel 表格中的每一行,每一行都是一个 实体类对象

3. ExcelReader excelReader = EasyExcel.read(filename, head, new AnalysisEventListener<PersonSynData>() {...});是Alibaba提供的一个工厂方法,用于创建一个 ExcelReader 对象。
filename 是要解析的 Excel 文件的路径。
head 是前面获取的 PersonSynData 类的 Class 对象,用于告诉 EasyExcel 应该如何解析 Excel 数据。
new AnalysisEventListener<PersonSynData>() {...} 是一个匿名内部类,实现了 AnalysisEventListener 接口。这个监听器用于处理 Excel 数据的解析过程

4. invoke 是必须重写的方法

  • 每解析到一行 Excel 数据,就会调用这个方法,并将解析后的 PersonSynData 实例作为参数传递进来。
  • 在这个方法中,我们将解析出的 PersonSynData 实例添加到 updateList 中。

5. doAfterAllAnalysed也是必须重写的方法

  • 这个方法是 AnalysisEventListener 接口的 doAfterAllAnalysed 方法的实现。
  • 当 Excel 文件的所有数据都解析完成后,就会调用这个方法。
  • 在这个方法中,我们打印了一条消息,表示 Excel 解析完成。

6.当代码执行到  excelReader.read(readSheet); 此时 updateList 中就有我们需要的数据了

注意!更新操作在下一篇: https://www.jb51.net/program/322571vt7.htm

四.为什么要缓存到本地?

缓存到本地和在内存中进行处理是两种不同的解决方案

在处理前端传来的Excel文件时,后端是否需要将其存储到本地再进行解析,确实存在几种不同的处理方式。

存储到本地后再解析:这种方式的优点是可以避免在内存中一次性加载整个Excel文件,从而减轻内存压力。同时,如果需要对文件进行多次处理,存储到本地后可以直接读取而无需重新上传,提高效率。缺点是需要占用服务器硬盘空间,并且需要额外的IO操作。

直接在内存中解析:这种方式可以省略存储到本地的步骤,直接从前端传来的数据流中进行解析。优点是减少了IO操作,提高了处理速度。缺点是需要一次性加载整个Excel文件到内存中,如果文件很大可能会造成内存溢出的风险。

综合来看,两种方式各有优缺点。具体采用哪种方式,需要根据实际业务需求、文件大小、服务器资源等因素进行权衡。如果Excel文件较小,且只需要处理一次,直接在内存中解析可能是更好的选择。而对于较大的Excel文件,或需要多次处理的场景,将其存储到本地可能会更合适。总之,在设计后端处理逻辑时,需要充分考虑各种因素,选择最佳的解决方案。

到此这篇关于Spring Boot + EasyExcel + SqlServer 进行批量处理数据的文章就介绍到这了,更多相关Spring Boot EasyExcel 批量处理数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Java报错:java.util.concurrent.ExecutionException的解决办法

    Java报错:java.util.concurrent.ExecutionException的解决办法

    在Java并发编程中,我们经常使用java.util.concurrent包提供的工具来管理和协调多个线程的执行,va并发编程中,然而,在使用这些工具时,可能会遇到各种各样的异常,其中之一就是java.util.concurrent.ExecutionException,本文将详细分析这种异常的背景、可能的原因
    2024-09-09
  • SpringCloud链路追踪组件Sleuth配置方法解析

    SpringCloud链路追踪组件Sleuth配置方法解析

    这篇文章主要介绍了SpringCloud链路追踪组件Sleuth配置方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • Java TCP协议通信超详细讲解

    Java TCP协议通信超详细讲解

    TCP/IP是一种面向连接的、可靠的、基于字节流的传输层通信协议,它会保证数据不丢包、不乱序。TCP全名是Transmission Control Protocol,它是位于网络OSI模型中的第四层
    2022-09-09
  • SpringBoot添加富文本编辑器操作步骤

    SpringBoot添加富文本编辑器操作步骤

    富文本编辑器是一种能够编辑和展示富文本内容的工具或程序,与纯文本编辑器不同,富文本编辑器可以处理文本的格式、样式、布局等方面,使文本更加丰富多样,本文给大家介绍了SpringBoot添加富文本编辑器操作步骤,需要的朋友可以参考下
    2024-01-01
  • Spring Boot Web 开发注解篇

    Spring Boot Web 开发注解篇

    在 Spring Boot 快速入门中,只要在 pom.xml 加入了 spring-boot-starter-web 依赖,即可快速开发 web 应用。下文给大家详细介绍了spring boot web 开发注解,感兴趣的朋友参考下吧
    2017-08-08
  • SpringBoot内存数据导出成Excel的实现方法

    SpringBoot内存数据导出成Excel的实现方法

    这篇文章主要给大家介绍了关于SpringBoot内存数据导出成Excel的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • PageHelper插件实现服务器端分页功能

    PageHelper插件实现服务器端分页功能

    这篇文章主要为大家详细介绍了PageHelper插件实现服务器端分页功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-07-07
  • springboot整合logback实现日志管理操作

    springboot整合logback实现日志管理操作

    本章节是记录logback在springboot项目中的简单使用,本文将会演示如何通过logback将日志记录到日志文件或输出到控制台等管理操作,感兴趣的朋友跟随小编一起看看吧
    2024-02-02
  • java实现插入排序算法

    java实现插入排序算法

    插入排序算法是一个对少量元素进行排序的有效算法。插入排序的工作原理与打牌时整理手中的牌的做法类似,开始摸牌时,我们的左手是空的,接着一次从桌上摸起一张牌,并将它插入到左手的正确位置。
    2015-04-04
  • 让Java程序自动重启的实现方法(推荐)

    让Java程序自动重启的实现方法(推荐)

    下面小编就为大家带来一篇让Java程序自动重启的实现方法(推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03

最新评论