大文件处理

一条咸鱼_SaltyFish17 天前
java·性能优化·架构演进·大文件处理·nagle·零对象设计
大文件性能优化:从百倍提升看底层原理的实践思考一次关于4GB大文件处理的技术实践,让我重新审视那些止步于八股文的网络算法和系统调用原理。最近读到一篇关于4GB大文件处理性能优化的技术文章,作者通过Java、C++、Rust三种语言对比,展示了从637秒优化到5.2秒的百倍提升过程。这篇文章的核心场景是对1.14亿行ASCII文本进行"删除每行中间1/3内容"操作,在内存受限的前提下实现高吞吐流式处理。作为一名后端程序员,虽然已经很久没接触这么细致的性能优化,但文中的几个技术细节和优化思路,让我产生了强烈的共鸣和思考。
爱敲代码的TOM2 个月前
后端·大文件处理
大文件上传下载处理方案-断点续传,秒传,分片,合并通常一些文件如视频文件体积都比较大,对于这些文件的上传需求要满足大文件的上传要求。http协议本身对上传文件大小没有限制,但是客户的网络环境质量、电脑硬件环境等参差不齐,如果一个大文件快上传完了网断了没有上传完成,需要客户重新上传,用户体验非常差,所以对于大文件上传的要求最基本的是断点续传。
rs勿忘初心2 年前
python·大文件处理·固定大小读取·截断读取·分块读取
Python3:读取和处理超大文件在日常工作中,文件对象是我们常接触到的可迭代类型之一。一般用 for 循环遍历一个文件对象,可以逐行读取它的内容。但这种方式在碰到大文件时,可能会出现一些奇怪的效率问题。
我是有底线的