请求接口时传给后端的入参报文太大怎么办,用CompressionStream试试?

背景

  • 由于业务的特性,导致需要一次给接口传40M的报文,但是由于后端网关平台的限制,报文限制在了10M,因此将这么大的报文传给后端,后端是接收不到的。
  • 于是决定将入参报文转成一个txt文件,将文件上传到文件中心,然后得到文件中心的url地址,再将这个地址传给后端,后端再去解析这个文件。

使用CompressionStream压缩

  • 将入参转成file对象,并生成txt文件
js 复制代码
params2File(content, fileName, mimeType) {
  // 1. 将字符串转换为 Blob 对象
  const blob = new Blob([content], { type: mimeType })
  // 2. 将 Blob 转换为 File 对象
  const file = new File([blob], fileName, { type: mimeType })
  return file
}
  • 压缩生成的文件
js 复制代码
async compressFile(file) {
  const stream = file.stream()
  const compressedStream = stream.pipeThrough(new CompressionStream('gzip'))
  const chunks = []
  const reader = compressedStream.getReader()
  while (true) {
    const { done, value } = await reader.read()
    if (done) break
    chunks.push(value)
  }
  // 压缩成gzip文件
  return new Blob(chunks, { type: 'application/gzip' })
},
blobToFile(blob, fileName) {
  return new File([blob], fileName, {
    type: blob.type,
    lastModified: Date.now(),
  })
}
  • 函数调用
js 复制代码
const file = await this.params2File(JSON.stringify(params), '入参.txt', 'text/plain')
const compressedBlob = await this.compressFile(file)
// 生成gzip压缩包
const compressedFile = this.blobToFile(
compressedBlob,
`${file.name}.gz` // 例如:example.txt.gz
)
  • CompressionStream的压缩率还是非常高的,40M的文件可以压缩到2.9M,压缩率在93%

  • 文件上传,具体参数根据自己的项目来

js 复制代码
let formData = new FormData()
formData.append('xxx', 'xx')
formData.append('num', 1)
formData.append('token', 'xxxx')
formData.append('x-uid', 'xxxx')
formData.append('file', compressedFile)
let result = await axios.post('/upload', formData)

使用DecompressionStream解压

js 复制代码
async getFile(url) {
    const response = await fetch(url)
    if (!response.ok) throw new Error('网络请求失败')
    const responseData = await this.decompressGzip(response)
},
// 解压 gz 文件
async decompressGzip (response) {
  const decompressionStream = new DecompressionStream('gzip')
  const decompressedStream = response.body.pipeThrough(decompressionStream)
  const result = await new Response(decompressedStream).json()
  return result
},
  • 解压效率也是很快的一个原始文件压缩前是60M,解压这个文件花费的时间大概在400-800毫秒
  • 如果是后端压缩的文件,使用这个api也是能解压的,前提是后端也是使用gzip压缩,如果是zip是解压不了的
相关推荐
码上成长15 分钟前
GraphQL:让前端自己决定要什么数据
前端·后端·graphql
冴羽24 分钟前
为什么在 JavaScript 中 NaN !== NaN?背后藏着 40 年的技术故事
前端·javascript·node.js
久爱@勿忘35 分钟前
vue下载项目内静态文件
前端·javascript·vue.js
前端炒粉35 分钟前
21.搜索二维矩阵 II
前端·javascript·算法·矩阵
合作小小程序员小小店1 小时前
web网页开发,在线%台球俱乐部管理%系统,基于Idea,html,css,jQuery,jsp,java,ssm,mysql。
java·前端·jdk·intellij-idea·jquery·web
不爱吃糖的程序媛1 小时前
Electron 应用中的系统检测方案对比
前端·javascript·electron
泷羽Sec-静安1 小时前
Less-9 GET-Blind-Time based-Single Quotes
服务器·前端·数据库·sql·web安全·less
pe7er1 小时前
用高阶函数实现递归:从匿名函数到通用递归生成器
前端·javascript
IT古董2 小时前
全面理解 Corepack:Node.js 的包管理新时代
前端·node.js·corepack
Jonathan Star2 小时前
NestJS 是基于 Node.js 的渐进式后端框架,核心特点包括 **依赖注入、模块化架构、装饰器驱动、TypeScript 优先、与主流工具集成** 等
开发语言·javascript·node.js