java web开发中大量数据导出Excel超时(504)问题解决

 更新时间:2017年04月12日 16:25:38   作者:pipi_7  
开发测试时候导入数据遇到大数据导入的问题,整理了下,需要的朋友可以参考下
import java.io.IOException;
import java.io.OutputStream;
import java.lang.reflect.Field;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import javax.servlet.http.HttpServletResponse;
import org.apache.commons.lang3.StringUtils;
import org.joda.time.DateTime;
import com.travelzen.framework.net.http.TZHttpClient;
import com.travelzen.tops.front.ota.member.item.CustomerItem;
public class CSV {
  /**
   * 目标输出流
   */
  private OutputStream stream;
  /**
   * 表头
   */
  private Map<String,String> fields;

  /**
   * 数据源model所有字段map
   */
  private static Map<String, Field> fieldMap = new HashMap<>();
  public CSV(HttpServletResponse response,Map<String,String> fields,String fileName,Class<?> clz) throws IOException{
    if(response == null || fields == null || fileName == null || clz == null)
      throw new IllegalArgumentException();
    getFieldMap(clz,fieldMap);
    this.stream = response.getOutputStream();
    this.fields = fields;
    response.setContentType("application/octet-stream;charset=GBK");
    response.setHeader("Content-Disposition", "attachment;fileName="+ fileName);
    //写表头,生成指定名字的文件,返回客户端
    StringBuilder hb = new StringBuilder();
    for(Entry<String, String> e : fields.entrySet())
      hb.append(e.getValue()+",");
    stream.write(hb.substring(0, hb.length() - 1).getBytes("GBK"));
    stream.flush();
  }
  /**
   * 往表格中插入记录
   */
  public void write(List<Object> data) throws IllegalArgumentException, IllegalAccessException, IOException{
    for(Object o : data){
      StringBuilder sb = new StringBuilder();
      sb.append("\n");
      for(String field : fields.keySet()){
        Field f = fieldMap.get(field);
        f.setAccessible(true);
        Object value = f.get(o);
        if(value == null || StringUtils.isBlank(value.toString())){
          sb.append(" ,");
        } else if (f.getType() == Date.class) {
          sb.append(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(value) + ",");
        } else if (f.getType() == DateTime.class) {
          sb.append(((DateTime)value).toString("yyyy-MM-dd HH:mm:ss") + ",");
        } else {
          String tmp = value.toString();
          if(tmp.contains(","))
            tmp = tmp.replace(",", "\",\"");
          sb.append(value.toString() + ",");
        }
      }
      stream.write(sb.substring(0, sb.length() - 1).getBytes("GBK"));
      stream.flush();
    }
  }
  public void close() throws IOException{
    stream.close();
  }
  private static <T extends Object> void getFieldMap(Class<T> clz, Map<String, Field> result) {
    for (Field field : clz.getDeclaredFields()) {
      result.put(field.getName(), field);
    }
    if (clz.getSuperclass() != null) {
      getFieldMap(clz.getSuperclass(), result);
    }
  }
}

web开发中常见的准备Excel数据需要从数据库查询数据,或者跨系统调用接口查询数据,耗费大量时间,因此未及时向浏览器返回数据,导致504超时。

本工具使用ServletOutputStream分段的往浏览器flush数据。调用方式:先new CSV(),传入指定参数,不断的调用wirte()方法往浏览器写入数据,最后调用close方法关闭流。

本工具导出的文件格式为.csv文件,windows office工具默认编码为ASCI,wps会匹配各种编码,libreOffice calc可以指定编码,故此设置编码为GBK,兼容三种Excel软件,也可根据自身需求设置编码。

本工具只处理了CSV中”,”的转码,对于双引号并未处理。

希望本文能够对遇到此问题的朋友能有所帮助

相关文章

  • mysql+mybatis下全文搜索的使用方法

    mysql+mybatis下全文搜索的使用方法

    本文主要介绍了mysql+mybatis下全文搜索的使用方法,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-01-01
  • Mybatis分页插件Pagehelper的PageInfo字段属性使用及解释

    Mybatis分页插件Pagehelper的PageInfo字段属性使用及解释

    这篇文章主要介绍了Mybatis分页插件Pagehelper的PageInfo字段属性使用及解释,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-05-05
  • IDEA快速部署Spring Boot 项目到Docker的实现方法

    IDEA快速部署Spring Boot 项目到Docker的实现方法

    本文主要介绍了IDEA快速部署Spring Boot 项目到Docker的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-07-07
  • Spring中ApplicationContext的拓展功能详解

    Spring中ApplicationContext的拓展功能详解

    这篇文章主要介绍了Spring中ApplicationContext的拓展功能详解,相对于BeanFactory来说,ApplicationContext除了提供BeanFactory的所有功能外,还有一些其他的功能,主要包括国际化支持、资源访问、事件传递,需要的朋友可以参考下
    2024-01-01
  • 深入解析Java中volatile的底层原理

    深入解析Java中volatile的底层原理

    这篇文章主要介绍了深入解析Java中volatile的底层原理,volatile关键字用于保证变量的可见性和禁止指令重排序,即当一个线程修改了volatile变量的值,其他线程能够立即看到这个变量的最新值,而不是使用缓存中的旧值,需要的朋友可以参考下
    2023-07-07
  • Java获取Prometheus监控数据的方法实现

    Java获取Prometheus监控数据的方法实现

    本文主要介绍了Java获取Prometheus监控数据的方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-12-12
  • 详解Java中的悲观锁与乐观锁

    详解Java中的悲观锁与乐观锁

    乐观锁对应于生活中乐观的人总是想着事情往好的方向发展,悲观锁对应于生活中悲观的人总是想着事情往坏的方向发展.这两种人各有优缺点,不能不以场景而定说一种人好于另外一种人,文中详细介绍了悲观锁与乐观锁,需要的朋友可以参考下
    2021-05-05
  • Mybatis注解方式操作Oracle数据库详解

    Mybatis注解方式操作Oracle数据库详解

    这篇文章主要介绍了Mybatis注解方式操作Oracle数据库详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • Spring Security自定义异常 AccessDeniedHandler不生效解决方法

    Spring Security自定义异常 AccessDeniedHandler不生效解决方法

    本文主要介绍了Spring Security自定义异常 AccessDeniedHandler不生效解决方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-07-07
  • 新的Java访问mysql数据库工具类的操作代码

    新的Java访问mysql数据库工具类的操作代码

    本文通过实例代码给大家介绍新的Java访问mysql数据库工具类的方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2021-12-12

最新评论