在Python的Django框架中用流响应生成CSV文件的教程

转载  2015-05-02   作者:猪了个去   我要评论

这篇文章主要介绍了在Python的Django框架中用流响应生成CSV文件的教程,作者特别讲到了防止CSV文件中的中文避免出现乱码等问题,需要的朋友可以参考下

在Django里,流式响应StreamingHttpResponse是个好东西,可以快速、节省内存地产生一个大型文件。

目前项目里用于流式响应的一个是Eventsource,用于改善跨系统通讯时用户产生的慢速的感觉。这个不细说了。

还有一个就是生成一个大的csv文件。

当Django进程处于gunicorn或者uwsgi等web容器中时,如果响应超过一定时间没有返回,就会被web容器终止掉,虽然我们可以通过加长web容器的超时时间来绕过这个问题,但是毕竟还是治标不治本。要根本上解决这个问题,Python的生成器、Django框架提供的StreamingHttpResponse这个流式响应很有帮助

而在csv中,中文的处理也至关重要,要保证用excel打开csv不乱码什么的。。为了节约空间,我就把所有代码贴到一起了。。实际使用按照项目的规划放置哈

上代码:

from __future__ import absolute_import
import csv
import codecs
import cStringIO


class Echo(object):

  def write(self, value):
    return value

class UnicodeWriter:

  """
  A CSV writer which will write rows to CSV file "f",
  which is encoded in the given encoding.
  """

  def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
    # Redirect output to a queue
    self.queue = cStringIO.StringIO()
    self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
    self.stream = f
    self.encoder = codecs.getincrementalencoder(encoding)()

  def writerow(self, row):
    self.writer.writerow([handle_column(s) for s in row])
    # Fetch UTF-8 output from the queue ...
    data = self.queue.getvalue()
    data = data.decode("utf-8")
    # ... and reencode it into the target encoding
    data = self.encoder.encode(data)
    # write to the target stream
    value = self.stream.write(data)
    # empty queue
    self.queue.truncate(0)
    return value

  def writerows(self, rows):
    for row in rows:
      self.writerow(row)

from django.views.generic import View
from django.http.response import StreamingHttpResponse

class ExampleView(View):
  headers=['一些','表头']
  def get(self,request):
    result = [['第一行','数据1'],
         ['第二行','数据2']]
    echoer = Echo()
    writer = UnicodeWriter(echoer)
    def csv_itertor():
        yield codecs.BOM_UTF8
        yield writer.writerow(self.headers)
        for column in result:
          yield writer.writerow(column)

    response = StreamingHttpResponse(
      (row for row in csv_itertor()),
      content_type="text/csv;charset=utf-8")
    response['Content-Disposition'
         ] = 'attachment;filename="example.csv"'
    return response


相关文章

  • python创建临时文件夹的方法

    python创建临时文件夹的方法

    这篇文章主要介绍了python创建临时文件夹的方法,涉及Python基于tempfile模块创建临时文件夹的实现方法,需要的朋友可以参考下
    2015-07-07
  • python线程池的实现实例

    python线程池的实现实例

    这篇文章主要介绍了python线程池的实现方法,代码简单实用,供大家参考使用
    2013-11-11
  • Anaconda入门使用总结

    Anaconda入门使用总结

    个人尝试了很多类似的发行版,最终选择了Anaconda,因为其强大而方便的包管理与环境管理的功能。该文主要介绍下Anaconda,对Anaconda的理解,并简要总结下相关的操作
    2018-04-04
  • 详解Python中的变量及其命名和打印

    详解Python中的变量及其命名和打印

    这篇文章主要介绍了Python中的变量及其命名和打印,是Python入门学习中的基础知识,需要的朋友可以参考下
    2016-03-03
  • Python+Pika+RabbitMQ环境部署及实现工作队列的实例教程

    Python+Pika+RabbitMQ环境部署及实现工作队列的实例教程

    RabbitMQ是一个消息队列服务器,在本文中我们将学习到Python+Pika+RabbitMQ环境部署及实现工作队列的实例教程,需要的朋友可以参考下
    2016-06-06
  • pandas series序列转化为星期几的实例

    pandas series序列转化为星期几的实例

    下面小编就为大家分享一篇pandas series序列转化为星期几的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • Python序列之list和tuple常用方法以及注意事项

    Python序列之list和tuple常用方法以及注意事项

    这篇文章主要介绍了Python序列之list和tuple常用方法以及注意事项,sequence(序列)是一组有顺序的对象的集合,序列可以包含一个或多个元素,也可以没有任何元素,序列有两种:list (表) 和 tuple(元组),需要的朋友可以参考下
    2015-01-01
  • Python基于hashlib模块的文件MD5一致性加密验证示例

    Python基于hashlib模块的文件MD5一致性加密验证示例

    这篇文章主要介绍了Python基于hashlib模块的文件MD5一致性加密验证,涉及Python使用hashlib模块进行字符串与文件的MD5加密验证操作相关实现技巧,需要的朋友可以参考下
    2018-02-02
  • 详解Python使用simplejson模块解析JSON的方法

    详解Python使用simplejson模块解析JSON的方法

    这篇文章主要介绍了Python使用simplejson模块解析JSON的方法,实例代码基于Pyhton2.x版本,文中最后还附了关于simplejson模块的一些性能放面的讨论,需要的朋友可以参考下
    2016-03-03
  • 教女朋友学Python3(二)简单的输入输出及内置函数查看

    教女朋友学Python3(二)简单的输入输出及内置函数查看

    这篇文章主要介绍了教女朋友学Python3(二)简单的输入输出及内置函数查看,涉及Python3简单的输入输出功能实现,以及参看内置函数的功能和用法描述的语句,具有一定参考价值,需要的朋友可了解下。
    2017-11-11

最新评论