Java实现百万数据导出Excel的详细指南

// 新手版导出代码 - 内存炸弹！
public void exportOrders(HttpServletResponse response) {
    // 1. 一次性加载全量数据
    List<Order> allOrders = orderDao.findAll(); 
    
    // 2. 创建Excel对象（当时还不知道内存代价）
    Workbook workbook = new HSSFWorkbook();
    Sheet sheet = workbook.createSheet("Orders");
    
    // 3. 逐行填充数据
    int rowNum = 0;
    for (Order order : allOrders) {  // 百万次循环
        Row row = sheet.createRow(rowNum++);
        row.createCell(0).setCellValue(order.getId());
        row.createCell(1).setCellValue(order.getAmount());
        // ...15+个字段
    }
    
    // 4. 写入响应流
    workbook.write(response.getOutputStream());
}

Exception in thread "http-nio-8080-exec-3" java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:3332)
    at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
    at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:448)
    // 堆栈指向Excel对象创建

public void streamExport(HttpServletResponse response) throws Exception {
    // 1. 创建流式工作簿（内存中只保留100行）
    Workbook workbook = new SXSSFWorkbook(100); 
    Sheet sheet = workbook.createSheet("订单数据");
    
    // 2. 写表头
    Row header = sheet.createRow(0);
    header.createCell(0).setCellValue("ID");
    // ...其他表头
    
    // 3. 分页查询+流式写入
    int pageSize = 2000;
    int pageNum = 1;
    int rowIndex = 1; // 数据行起始位置
    
    while (true) {
        // 4. 分页查询（避免全量加载）
        List<Order> page = orderDao.findByPage(pageNum, pageSize);
        if (page.isEmpty()) break;
        
        // 5. 批量写入当前页
        for (Order order : page) {
            Row row = sheet.createRow(rowIndex++);
            row.createCell(0).setCellValue(order.getId());
            // ...其他字段
        }
        
        // 6. 刷新当前页数据到磁盘
        ((SXSSFSheet)sheet).flushRows(page.size());
        
        pageNum++;
    }
    
    // 7. 设置响应头
    response.setContentType("application/vnd.ms-excel");
    response.setHeader("Content-Disposition", "attachment;filename=orders.xlsx");
    
    // 8. 流式输出到客户端
    workbook.write(response.getOutputStream());
    
    // 9. 清理临时文件
    ((SXSSFWorkbook)workbook).dispose();
}

// 传统方式（危险！）
Workbook workbook = new XSSFWorkbook(); 

// 流式处理（安全）
Workbook workbook = new SXSSFWorkbook(100); 

SELECT * FROM orders WHERE id > ? ORDER BY id LIMIT 2000

// 错误做法：每行创建样式（内存爆炸）
for(Order order : orders) {
    CellStyle style = workbook.createCellStyle();
    row.setCellStyle(style);
}

// 正确做法：样式池复用
CellStyle moneyStyle = workbook.createCellStyle();
moneyStyle.setDataFormat(BuiltinFormats.getBuiltinFormat(4));

// 在需要时直接使用
cell.setCellStyle(moneyStyle);

// 自定义临时文件位置（避免/tmp爆满）
File tmpDir = new File("/data/tmp");
SXSSFWorkbook workbook = new SXSSFWorkbook(null, 100, true, tmpDir);

// 批量设置单元格值（减少方法调用）
Row row = sheet.createRow(0);
Object[] values = {"ID", "金额", "日期"};
for (int i = 0; i < values.length; i++) {
    row.createCell(i).setCellValue(values[i].toString());
}

// MySQL深度分页性能陷阱
List<Order> list = orderDao.query("SELECT * FROM orders LIMIT 900000,1000");

// 忘记关闭资源导致内存泄漏
Workbook workbook = new SXSSFWorkbook();
// 必须添加finally块关闭

// 日期类型特殊处理
CellStyle dateStyle = workbook.createCellStyle();
dateStyle.setDataFormat(workbook.createDataFormat().getFormat("yyyy-MM-dd"));
cell.setCellStyle(dateStyle);

graph LR
内存-->磁盘-->分布式