关于文件上传的前后端优化

此前做过单文件、多文件上传和大文件分片上传,虽然功能有了,效果也还可以。不过最近重新思考一下,突然注意到一个重要的事情,大文件上传中,系统做了很多无用功,导致效率太低!

怎么说呢?是这样的,大文件上传,我前端采用的是百度的webuploader,后端用nodejs+express+multer。webuploader在前端分片上传,后端收到的分片存为临时文件,全部传完后,前端发消息到后端执行分片合并,表面上没有毛病,其实我完全是被webuploader给忽悠瘸了,因为分片合并根本就不是必要的!

multer支持将formdata传来的文件存为硬盘文件,其实也可以缓存在memoryStorage ,我们可以直接写入目标文件的特定位置,根本不必要将分片写入临时文件,再在完成所有分片时将临时文件读取写入到目标文件。假设读写一个分片的开销都是1,那么写入分片读取分片写入目标的开销就是3了,而实际上我们直接写入目标就可以了,代价是1,相当于我们的效率只有1/3,做了2/3的无用功。

javascript 复制代码
const multer = require('multer');
const storage = multer.memoryStorage();
const uploader = multer({ storage: storage });
const stream = require('stream');
...
app.post('/upload_chunks', multer().array('file'), (req, res, next)=> {
	let obj= req.body;
	let dest_path = jargs.destDir+"/"+obj.reqid+"/"+ obj.name;
	let chunkid = (obj.chunk)?Number(obj.chunk):0;
	pipeline( new stream.PassThrough().end(req.files[0].buffer), fs.createWriteStream(dest_path, { flags:'r+', start:chunkid*jargs.chunkSize }), (err) => { if (err) { res.json({'status': 0}); } else { res.json({'status': 1}); } });
});

app.post('/createfile', (req, res) => {
	let dest_path = jargs.destDir+"/"+req.body.reqid+"/"+ req.body.filename;
	fs.writeFile(dest_path, '', (error) => { 
		if (error) { 
			logger.error("创建文件失败 "+dest_path); 
			res.json({'status': 0}); 
			} 
		else {
			res.json({ 'status': 1 });
			}
		});
});

后端有两个接口,一个是分片上传,另一个是创建目标文件,要在分片上传前执行,前端是webuploader的话,就在fileQueued里调用执行。

更改后,前后段代码一下子减少了一大半,没有分片合并了,没有合并进度查询了,对服务器空间占用需求也减少了,速度还大幅度提升了。。。

相关推荐
未来之窗软件服务11 分钟前
自己写算法(九)网页数字动画函数——东方仙盟化神期
前端·javascript·算法·仙盟创梦ide·东方仙盟·东方仙盟算法
C+ 安口木2 小时前
vue中监听window某个属性被添加或值的变化
前端·javascript·vue.js
CoderYanger2 小时前
前端基础-HTML入门保姆级课堂笔记
前端·javascript·css·html
赛博切图仔2 小时前
qiankun、micro-app、wujie,2025年我们该选谁?
前端·javascript
星空下的曙光3 小时前
Node.js crypto模块所有 API 详解 + 常用 API + 使用场景
算法·node.js·哈希算法
im_AMBER4 小时前
Web 开发 27
前端·javascript·笔记·后端·学习·web
玩代码4 小时前
vue项目安装chromedriver超时解决办法
前端·javascript·vue.js
苏打水com5 小时前
JavaScript 面试题标准答案模板(对应前文核心考点)
javascript·面试
Wx-bishekaifayuan5 小时前
基于微信小程序的社区图书共享平台设计与实现 计算机毕业设计源码44991
javascript·vue.js·windows·mysql·pycharm·tomcat·php
DoraBigHead6 小时前
React 架构重生记:从递归地狱到时间切片
前端·javascript·react.js