Django实现下载100G的超大CSV文件

关注我的公众号「DevOps724」,获取最新的内容分享,带你探索DevOps的无限可能!分享最新的行业趋势、深入的技术分析和实用的工具,帮助你掌握自动化、云计算、持续集成和部署等核心概念。

在处理大数据集的时候,我们经常遇到的一个问题是内存使用。当我们试图生成一个大型文件,如 CSV,并尝试将其全部加载到内存中时,可能会遇到内存不足的问题。幸运的是,Django 提供了一个解决方案:流传输。本文将详细的讲述如何利用 Django 进行大型 CSV 文件的流传输。

流传输的基础概念

流传输是一种技术,允许你一次发送一小部分响应,而不是一次性加载整个响应到内存中。这种技术对于服务大文件,如图像,音频和大型数据集非常有用。

创建 Django StreamingHttpResponse 对象

StreamingHttpResponse 对象允许我们将响应内容按部分,或者说"流"的形式发送给客户端。试看以下代码:

python 复制代码
from django.http import StreamingHttpResponse

def big_file_download(request):
    def file_iterator(file_name, chunk_size=512):
        with open(file_name, "rb") as f:
            while True:
                c = f.read(chunk_size)
                if c:
                    yield c
                else:
                    break
    response = StreamingHttpResponse(file_iterator('big_file.csv'))
    return response

在这里,我们首先创建一个生成器函数 file_iterator,它以 chunk_size 为单位读取文件,然后用这个生成器函数作为 StreamingHttpResponse 的参数,从而创建出一个可以流传输的响应对象。

实现 Django 流传输大型 CSV 文件

现在,我们知道了如何创建 StreamingHttpResponse 对象,接着看一下如何用它来流传输大型 CSV 文件:

python 复制代码
import csv
from django.http import StreamingHttpResponse
from .models import Person

class Echo:
    def write(self, value):
        return value

def streaming_csv_view(request):
    persons = Person.objects.all().values_list('name', 'age', 'city')
    pseudo_buffer = Echo()
    writer = csv.writer(pseudo_buffer)
    
    response = StreamingHttpResponse((writer.writerow(person) for person in persons),
                                     content_type="text/csv")
    response['Content-Disposition'] = 'attachment; filename="persons.csv"'
    return response

在上述代码中,我们创建了一个 Echo 类,并将其实例 pseudo_buffer 作为 csv.writer 的参数。这样,我们可以以迭代的方式写入 CSV 行,而不必把它们全部加载到内存中。之后,我们把这个 writerow 方法的迭代器作为 StreamingHttpResponse 的参数。注意,我们此时仍需要设置正确的 MIME 类型和 Content-Disposition 头部。

总结

这就是如何使用 Django 的 StreamingHttpResponse 对象来流传输大型 CSV 文件。完成这个特性后,你应该能够更高效地处理大数据集,且大大降低了内存使用。希望这篇文章对你的开发工作有所帮助。

相关推荐
Ice__Cai11 分钟前
Django + Celery 详细解析:构建高效的异步任务队列
分布式·后端·python·django
半新半旧13 分钟前
4.DRF 认证--Authentication4.DRF 认证--Authentication
django
阿华的代码王国15 分钟前
【Android】卡片式布局 && 滚动容器ScrollView
android·xml·java·前端·后端·卡片布局·滚动容器
云边散步1 小时前
《校园生活平台从 0 到 1 的搭建》第四篇:微信授权登录前端
前端·javascript·后端
架构师沉默1 小时前
让我们一起用 DDD,构建更美好的软件世界!
java·后端·架构
研究司马懿2 小时前
【Golang】Go语言函数
开发语言·后端·golang
tuokuac2 小时前
创建的springboot工程java文件夹下还是文件夹而不是包
java·spring boot·后端
笃行3502 小时前
搭建专属AI聊天网站:NextChat + 蓝耘MaaS平台完整部署指南
后端
用户1512905452202 小时前
跨域共享(CORS)&CrossOrigin注解
后端
_風箏2 小时前
Java【代码 16】Milvus向量库工具类和SeetaSDK获取人像向量和属性的工具类分享
后端