Java大数据量导出Excel解决方案

在Java中处理大数据量导出Excel时,需要注意内存管理和性能优化，以下是几种常见的解决方案：

使用SXSSFWorkbook（Apache POI推荐方案）

import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.streaming.SXSSFSheet;
import org.apache.poi.xssf.streaming.SXSSFRow;
public void exportLargeExcel(HttpServletResponse response) throws IOException {
    // 创建SXSSFWorkbook，设置行访问窗口大小（内存中保留的行数）
    SXSSFWorkbook workbook = new SXSSFWorkbook(1000); // 在内存中保留1000行，其余写入临时文件
    // 创建工作表
    SXSSFSheet sheet = workbook.createSheet("Large Data");
    // 假设有100万行数据
    for (int i = 0; i < 1_000_000; i++) {
        SXSSFRow row = sheet.createRow(i);
        row.createCell(0).setCellValue("Row " + i);
        row.createCell(1).setCellValue("Data " + i);
        // 每写1000行刷新一次数据到磁盘
        if (i % 1000 == 0) {
            sheet.flushRows();
        }
    }
    // 设置响应头
    response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");
    response.setHeader("Content-Disposition", "attachment; filename=large_data.xlsx");
    // 写入输出流
    workbook.write(response.getOutputStream());
    // 清理资源
    workbook.dispose();
}

使用EasyExcel（阿里巴巴开源方案）

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.write.builder.ExcelWriterBuilder;
import com.alibaba.excel.write.metadata.WriteSheet;
public void exportLargeExcelWithEasyExcel(HttpServletResponse response) {
    // 创建ExcelWriterBuilder
    ExcelWriterBuilder writerBuilder = EasyExcel.write(response.getOutputStream(), YourDataModel.class);
    // 设置写入配置
    writerBuilder.autoCloseStream(true)
               .registerWriteHandler(new CustomWriteHandler()) // 自定义处理器
               .sheet("Large Data")
               .doWrite(dataStream()); // 假设dataStream()返回数据流
}

分批次查询数据库并写入

public void exportLargeExcelWithBatch(HttpServletResponse response) throws IOException {
    SXSSFWorkbook workbook = new SXSSFWorkbook(1000);
    SXSSFSheet sheet = workbook.createSheet("Large Data");
    // 分批次查询数据库
    int batchSize = 10000;
    int offset = 0;
    List<YourDataModel> batch;
    do {
        batch = yourService.getDataBatch(offset, batchSize);
        int rowNum = offset;
        for (YourDataModel data : batch) {
            SXSSFRow row = sheet.createRow(rowNum++);
            row.createCell(0).setCellValue(data.getField1());
            row.createCell(1).setCellValue(data.getField2());
            // 其他字段...
        }
        offset += batchSize;
        sheet.flushRows(); // 刷新到磁盘
    } while (!batch.isEmpty());
    // 设置响应头并写入
    response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");
    response.setHeader("Content-Disposition", "attachment; filename=large_data.xlsx");
    workbook.write(response.getOutputStream());
    workbook.dispose();
}

使用CSV格式（适用于超大数据量）

public void exportAsCsv(HttpServletResponse response) throws IOException {
    response.setContentType("text/csv");
    response.setHeader("Content-Disposition", "attachment; filename=large_data.csv");
    try (BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(response.getOutputStream()))) {
        // 写入表头
        writer.write("Field1,Field2,Field3\n");
        // 分批次处理
        int batchSize = 10000;
        int offset = 0;
        List<YourDataModel> batch;
        do {
            batch = yourService.getDataBatch(offset, batchSize);
            for (YourDataModel data : batch) {
                writer.write(String.format("%s,%s,%s\n", 
                    data.getField1(), data.getField2(), data.getField3()));
            }
            offset += batchSize;
            writer.flush(); // 确保数据写入
        } while (!batch.isEmpty());
    }
}

优化建议

1. 内存管理：

   • 使用SXSSFWorkbook并设置合适的行访问窗口大小
   • 及时调用flushRows()和dispose()

2. 性能优化：

   • 减少样式设置（大数据量时样式会影响性能）
   • 使用简单数据类型而非复杂对象
   • 考虑使用多线程处理数据

3. 异常处理：

   • 添加适当的异常处理
   • 考虑添加超时机制

4. 用户体验：

   
   （图片来源网络，侵删）
   • 可以先导出模板,后台异步生成完整文件
   • 提供进度反馈

5. 替代方案：

   • 对于超大数据量(千万级以上)，考虑分多个文件导出
   • 考虑使用数据库导出工具直接生成文件

选择哪种方案取决于您的具体需求、数据量大小和性能要求，SXSSFWorkbook和EasyExcel是处理大数据量Excel导出的常用且有效的解决方案。