阿里云存储的下载验证

之前写了一篇关于阿里云存储的博客,基本都是关于阿里云存储上传的问题,但是后续在下载时又遇到了一些新的问题,主要是涉及到下载时的校验与安全,所以记录一下这个问题:

大体流程如下:

  1. HEAD\] 预检:校验 Content-Length 和 ETag (如果匹配 MD5 格式)。

  2. Post\] 终检:校验最终文件大小、计算出的 MD5 和真实 MIME 类型。

不要相信任何单一来源的信息(Header / 文件名 / MIME),而是通过「预检 → 下载中校验 → 下载后终检」三道防线,逐步降低风险。

这套流程解决的核心问题是:

  • 伪造文件
  • 下载劫持 / 内容篡改
  • MIME 欺骗(如 .pdf 实际是 exe)
  • 超大文件 / 拒绝服务攻击
  • OSS 元数据被污染

具体实现流程:

1. HEAD-预检

  • 通过校验请求头中的Content-Length,防止Dos(大文件上传消耗服务器资源)和异常文件,主要是防止文件下载超过范围、是否存在、是否>0等情况
  • 对ETag进行校验,判断是不是MD5格式,如果是信任则继续下一步校验,不是则抛出错误

其中有一个概念是ETag,ETag其实是一个标识符,这个标识符存储的可能是多种方式,可能存的是版本、缓存标记、文件内容等等,所以此处使用ETag校验是校验其是否为MD5文件,方便后续进行文件内容匹配,防止文件被改动

2. GET-下载

此处是整个流程的核心安全点,采用的是流式的方式进行下载,可以实时做安全判断,而且也可以进行打断

  • 实时计算MD5,主要是叠加计算MD5从而为最终校验做准备
  • 检测 Magic Number,通过下载文件头8-16个字节进行判断,防止伪造攻击

这里实时计算的MD5是可以叠加进行计算的,内容如果一致通过流式的方式来叠加计算出来的MD5也是一样的结果,但是此处实时计算也确实需要下载完成后才能最终进行判断。

3. POST-终检

终检是对文件检查的兜底检查,是将文件下载完成之后再进行一次检查

  • 文件大小检查,对下载后的文件与本地数据库中的file_size进行对比检查
  • MD5检查,即将第二步实时下载计算的MD5叠加计算之后与本地存储的MD5进行对比检查
  • 真实MIME类型检查,通过libmagic对下载后的文件进行完全检查

其中libmagic是对整体文件进行鉴定检查,会涉及文件结构、内容分布、编码方式、内部特征等

相关推荐
HAWK eoni3 分钟前
Mysql 驱动程序
数据库·mysql
二哈赛车手14 分钟前
新人笔记---实现简易版的rag的bm25检索(利用ES),以及RAG上传时的ES与向量数据库双写
java·数据库·笔记·spring·elasticsearch·ai
何中应25 分钟前
CentOS 7安装、卸载MySQL数据库(二)
数据库·mysql·centos
曲幽29 分钟前
FastAPI 少有人提的实用技巧:把 Depends 依赖提到路由层,代码少写60%
python·fastapi·web·routes·depends·prefix·apiroute
KmSH8umpK35 分钟前
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第六篇
数据库·redis·分布式
梁萌1 小时前
mysql使用事件做日志表数据转移
数据库·mysql
lThE ANDE1 小时前
MySQL中的TRUNCATE TABLE命令
数据库·mysql
kexnjdcncnxjs1 小时前
Redis如何记录每一次写操作_开启AOF持久化机制实现命令级追加记录
jvm·数据库·python
逸Y 仙X1 小时前
文章十九: ElasticSearch Full Text 全文本查询
java·大数据·数据库·elasticsearch·搜索引擎·全文检索
STER labo2 小时前
mysql配置环境变量——(‘mysql‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件解决办法)
数据库·mysql·adb