关于文件上传的前后端优化

此前做过单文件、多文件上传和大文件分片上传,虽然功能有了,效果也还可以。不过最近重新思考一下,突然注意到一个重要的事情,大文件上传中,系统做了很多无用功,导致效率太低!

怎么说呢?是这样的,大文件上传,我前端采用的是百度的webuploader,后端用nodejs+express+multer。webuploader在前端分片上传,后端收到的分片存为临时文件,全部传完后,前端发消息到后端执行分片合并,表面上没有毛病,其实我完全是被webuploader给忽悠瘸了,因为分片合并根本就不是必要的!

multer支持将formdata传来的文件存为硬盘文件,其实也可以缓存在memoryStorage ,我们可以直接写入目标文件的特定位置,根本不必要将分片写入临时文件,再在完成所有分片时将临时文件读取写入到目标文件。假设读写一个分片的开销都是1,那么写入分片读取分片写入目标的开销就是3了,而实际上我们直接写入目标就可以了,代价是1,相当于我们的效率只有1/3,做了2/3的无用功。

javascript 复制代码
const multer = require('multer');
const storage = multer.memoryStorage();
const uploader = multer({ storage: storage });
const stream = require('stream');
...
app.post('/upload_chunks', multer().array('file'), (req, res, next)=> {
	let obj= req.body;
	let dest_path = jargs.destDir+"/"+obj.reqid+"/"+ obj.name;
	let chunkid = (obj.chunk)?Number(obj.chunk):0;
	pipeline( new stream.PassThrough().end(req.files[0].buffer), fs.createWriteStream(dest_path, { flags:'r+', start:chunkid*jargs.chunkSize }), (err) => { if (err) { res.json({'status': 0}); } else { res.json({'status': 1}); } });
});

app.post('/createfile', (req, res) => {
	let dest_path = jargs.destDir+"/"+req.body.reqid+"/"+ req.body.filename;
	fs.writeFile(dest_path, '', (error) => { 
		if (error) { 
			logger.error("创建文件失败 "+dest_path); 
			res.json({'status': 0}); 
			} 
		else {
			res.json({ 'status': 1 });
			}
		});
});

后端有两个接口,一个是分片上传,另一个是创建目标文件,要在分片上传前执行,前端是webuploader的话,就在fileQueued里调用执行。

更改后,前后段代码一下子减少了一大半,没有分片合并了,没有合并进度查询了,对服务器空间占用需求也减少了,速度还大幅度提升了。。。

相关推荐
OEC小胖胖5 小时前
告别 undefined is not a function:TypeScript 前端开发优势与实践指南
前端·javascript·typescript·web
行云&流水6 小时前
Vue3 Lifecycle Hooks
前端·javascript·vue.js
老虎06276 小时前
JavaWeb(苍穹外卖)--学习笔记04(前端:HTML,CSS,JavaScript)
前端·javascript·css·笔记·学习·html
三水气象台6 小时前
用户中心Vue3网页开发(1.0版)
javascript·css·vue.js·typescript·前端框架·html·anti-design-vue
烛阴6 小时前
Babel 完全上手指南:从零开始解锁现代 JavaScript 开发的超能力!
前端·javascript
CN-Dust7 小时前
[FMZ][JS]第一个回测程序--让时间轴跑起来
javascript
全宝8 小时前
🎨前端实现文字渐变的三种方式
前端·javascript·css
yanlele9 小时前
前端面试第 75 期 - 2025.07.06 更新前端面试问题总结(12道题)
前端·javascript·面试
妮妮喔妮9 小时前
【无标题】
开发语言·前端·javascript
fie88899 小时前
浅谈几种js设计模式
开发语言·javascript·设计模式