短视频上传怎么做｜写个支持分片上传/断点续传/秒传功能的文件服务吧

白泽来了2024-08-17 11:17

前言

各位平时使用的短视频应用，微信 & 微博等图文社区，它们的图文动态 & 视频上传的能力，都是极其核心的业务。

本质来说，这都是文件的上传，这篇文章带大家写一个文件上传服务，探究其核心原理，相信能为你带来一些帮助。

感谢我的好友 Trembling 对本文的支持

主要包含以下能力：

  • 文件上传
  • 文件下载
  • 分片上传
  • 断点续传
  • 文件秒传

往期视频讲解 📺：B站：白泽talk，公众号：白泽talk

FileService 主要能力

pd定义：

protobuf 复制代码 
service FileService {
  // pre sign a file url for user get it
  rpc PreSignGet(PreSignGetRequest) returns (PreSignGetResponse);
  // pre sign a file url for user put it
  rpc PreSignPut(PreSignPutRequest) returns (PreSignPutResponse);
  // report a file has been uploaded
  rpc ReportUploaded(ReportUploadedRequest) returns (ReportUploadedResponse);
  // pre sign a file url for user put it with slicing
  rpc PreSignSlicingPut(PreSignSlicingPutRequest) returns (PreSignSlicingPutResponse);
  // get upload progress rate for slicing put
  rpc GetProgressRate4SlicingPut(GetProgressRate4SlicingPutRequest) returns (GetProgressRate4SlicingPutResponse);
  // merge a slicing uploading file
  rpc MergeFileParts(MergeFilePartsRequest) returns (MergeFilePartsResponse);
  // remove a file
  rpc RemoveFile(RemoveFileRequest) returns (RemoveFileResponse);
}

FileService用于向各个业务领域提供文件上传、下载的能力。在FileService的所有接口中，都存在一个名为file context的结构体，该参数通常用于指定文件相关的信息。其结构如下：

protobuf 复制代码 
message FileContext {
  // 所属业务领域，用于创建bucket
  string domain = 1;
  // 所属业务名称
  string biz_name = 2;
  // 文件id
  int64 file_id = 3;
  // 文件sha256 hash
  string hash = 4;
  // 文件类型
  string file_type = 5;
  // 文件大小，单位byte
  int64 size = 6;
  // 文件访问链接的过期时间
  int64 expire_seconds = 7;
  // 文件名
  string filename = 8;
}

在各个请求中，domain和biz_name两个参数为必传项，这个2个参数组合后，将使得FileService所依赖的表以业务领域为维度进行第一次分表。在此基础上，可以为每个业务领域配置一个对应的二次分表，可以指定其分为若干张子表。

Quick Start

FileService对于不同业务领域和不同业务项，其文件数量的扩增速度是不同的，带来的数据量很有可能天差地别。所以，要使用FileService的能力，需要在FileService中进行配置分表数量。

在config.yaml中，可以配置如下内容：

yaml 复制代码 
data:
  db_sharding_config:
    file_shortvideo_short_video:
      sharding: file_shortvideo_short_video
      sharding_number: 5

db_sharding_config项用于配置分表数量，其下的file_shortvideo_short_video为分表key，其中"file"为固定值，shortvideo为业务领域，short_video为业务名称。sharding_number为分表数量。业务领域和业务名称需要在使用FileService时传入。如不进行配置，则默认分表数量为1。

主要链路

普通上传/下载

sequenceDiagram participant up as 上游服务 participant fs as FileService participant minio as Minio Server up->>fs: PreSignPut fs-->>up: PreSignPutResponse(Minio上传链接) up->>minio: 上传文件 minio-->>up: 上传结果 up ->> fs: ReportUploaded fs-->>up: ReportUploadedResponse up->>fs: PreSignGet fs-->>up: PreSignGetResponse(下载链接) up->>minio: 下载文件 minio-->>up: 返回文件

分片上传/断点续传

sequenceDiagram participant up as 上游服务 participant fs as FileService participant minio as Minio Server up->>fs: PreSignSlicingPut fs-->>up: PreSignSlicingPutResponse(分片上传链接数组) up->>minio: 上传一部分文件 minio-->>up: 上传结果 up->>up: 喝杯咖啡 up->>fs: GetProgressRate4SlicingPut fs-->>up: GetProgressRate4SlicingPutResponse(分片上传进度) up->>minio: 上传剩余文件 minio-->>up: 上传结果 up->>fs: MergeFileParts fs-->>up: MergeFilePartsResponse up->>fs: PreSignGet fs-->>up: PreSignGetResponse(下载链接) up->>minio: 下载文件 minio-->>up: 返回文件

主要能力

普通上传

FileService.PreSignPut提供了最基础的上传能力。该接口需要额外上传的参数包括：

  • hash: 文件的sha256值
  • file_type: 文件类型
  • size：文件大小（字节数）
  • expire_seconds：文件上传链接的过期时间

例如，可以向此接口传入这样的参数:

json 复制代码 
{
    "file_context": {
        "domain": "shortvideo",
        "biz_name": "short_video",
        "hash": "8D6BB0819A2C1E66F846031DC54AAF47",
        "file_type": "pdf",
        "size": 1181178,
        "expire_seconds": 86400
    }
}

访问后，该接口将返回一个上传链接（http），由上游服务/前端直接将文件上传到该链接。一个上传示例代码(Python)：

python 复制代码 
with open(file_path, 'rb') as file_data:
    response = requests.put(
        minio_url, # 接口返回的上传链接
        data=file_data,
        headers={"Content-Type": "application/octet-stream"}
    )
    print(response)
    return response.status_code

通过上述Python代码的方式上传完成后，并不能直接访问到该文件，需要通过FileService.ReportUploaded接口来进行上传确认，只有上传确认后的文件，才会在数据库中被标记为uploaded并能被访问到。关于FileService.ReportUploaded的具体使用，将在下文中详细介绍。

分片上传

在一些情况下，需要上传的文件较大，如果直接上传，可能出现如下问题：

  1. 上传较慢
  2. 上传过程中如果出现问题，则需要重新上传整个文件

所以，FileService提供了分片上传的能力。

首先，可以通过FileService.PreSignSlicingPut预注册一个分片上传任务。该接口需要传入的参数与FileService.PreSignPut相同。接口返回的主要内容包括：

  • urls：数组，各个分片的上传链接，且已经按照分片号排序
  • upload_id：上传任务的id
  • parts：分片总数
  • file_id：文件id

参数示例:

json 复制代码 
{
    "file_context": {
        "domain": "shortvideo",
        "biz_name": "short_video",
        "hash": "8D6BB0819A2C1E66F846031DC54AAF47",
        "file_type": "pdf",
        "size": 72246060,
        "expire_seconds": 86400
    }
}

此时，由上有服务/前端对文件进行分片(每一片大小为5MB)，然后将各个分片进行上传，一个文件分片的示例如下(Python):

python 复制代码 
def slicing(filename):
    file_size = 5 * 1024 * 1024  # 10MB
    
    files = list()

    # 打开文件
    with open(filename, 'rb') as f:
        index = 0
        while True:
            # 定位到要读取的位置
            f.seek(index * file_size)
            # 读取数据
            data = f.read(file_size)
            # 如果已经读到文件末尾，退出循环
            if not data:
                break
            # 写入分割后的文件
            with open(f'{filename}_{index}', 'wb') as f1:
                f1.write(data)
            files.append(data)
            # 更新位置
            index += 1
    return files

全部分片上传完成后，可以通过FileService.MergeFileParts来合并分片。主要参数包括:

  • file_id
  • upload_id

参数示例:

json 复制代码 
{
    "upload_id": "ZDNlOWI2MjktMjAzOC00NzJkLWE0ODYtOGMzZTBlZmJlODUwLmRmN2M5ZWQyLTYxMzMtNDM4NS1hNTljLWEwMzRlNTI5NWNkNHgxNzIzNzM5ODA2MTM2NzU3MzE5",
    "file_context": {
        "file_id": 1824123073628999680,
        "domain": "shortvideo",
        "biz_name": "short_video"
    }
    
}

与不同上传不同的是，分片上传在上传完成并调用FileService.MergeFileParts后，会自动进行上传确认，无需再次调用FileService.ReportUploaded。

断点续传

在上述分片上传的过程中，可以通过FileService.GetProgressRate4SlicingPut来获取分片上传的具体情况，主要传入的参数包括:

  • file_id
  • upload_id

该接口的返回值中包含一个名为parts的map，key为分片号，value为该分片是否上传完成，上游服务或服务端可以根据该信息来决定哪些分片需要重新上传

示例参数:

json 复制代码 
{
    "upload_id": "ZDNlOWI2MjktMjAzOC00NzJkLWE0ODYtOGMzZTBlZmJlODUwLjA3ZTgyNmY0LWE4YjQtNDQxMC04M2QzLWY4ODQ4MTRiZGM4Y3gxNzIzNzM4ODUzMTMzMjY4ODQ3",
    "file_context": {
        "file_id": 1824119076553756672,
        "domain": "shortvideo",
        "biz_name": "short_video"
    }
    
}

返回值示例:

json 复制代码 
{
    "parts": {
        "1": true,
        "2": true,
        "3": true,
        "4": true,
        "5": true,
        "6": true,
        "7": true,
        "8": true,
        "9": true,
        "10": true,
        "11": true,
        "12": true,
        "13": true,
        "14": true
    },
    "meta": {
        "reason": [],
        "biz_code": 0,
        "message": "success",
        "domain": ""
    },
    "progress_rate": 100
}

上传确认

在上传完成时（分片上传除外，分片上传结束时调用FileService.MergeFileParts会自动进行上传确认），都需要调用FileService.ReportUploaded来进行上报，该接口必传参数为:

  • file_id

这一接口主要完成这样一件事：检查文件的hash，检查通过后将文件标记为"上传成功状态"，否则文件将不可被查询到。

参数示例：

json 复制代码 
{
    "file_context": {
        "domain": "shortvideo",
        "biz_name": "short_video",
        "file_id": "1824118603822141440"
    }
}

下载文件

通过FileService.PreSignGet接口则可以获取下载文件链接，该接口主要传入的参数包括：

  • file_id
  • expire_seconds

参数示例:

json 复制代码 
{
    "file_context": {
        "domain": "shortvideo",
        "biz_name": "short_video",
        "file_id": "1824123073628999680",
        "expire_seconds": 86400,
        "filename": "data.mp4"
    }
}

秒传

在FileService.PreSignPut和FileService.PreSignSlicingPut接口中，如果传入的hash已经存在，则会返回一个file_id，这个file_id可以用于获取下载链接，从而不需要再次上传文件。

相关推荐
pubuzhixing6 小时前
开源白板新方案：Plait 同时支持 Angular 和 React 啦！
前端·开源·github
忆源7 小时前
3.3.2.3 开源项目有锁队列实现--魔兽世界tinityCore
开源
鹏大师运维7 小时前
聊聊开源的虚拟化平台--PVE
linux·开源·虚拟化·虚拟机·pve·存储·nfs
我是前端小学生7 小时前
Go语言中的方法和函数
go
奥顺10 小时前
PHPUnit使用指南：编写高效的单元测试
大数据·mysql·开源·php
是小崔啊10 小时前
开源轮子 - Apache Common
java·开源·apache
FIT2CLOUD飞致云11 小时前
喜报丨重大科技成就发布会上，JumpServer入选2024年度开源项目！
开源
探索云原生12 小时前
在 K8S 中创建 Pod 是如何使用到 GPU 的： nvidia device plugin 源码分析
ai·云原生·kubernetes·go·gpu
刘不二12 小时前
大模型应用—HivisionIDPhotos 证件照在线制作！支持离线、换装、美颜等
人工智能·开源
小奏技术17 小时前
我用github新开源的3D图生成工具生成了自己github历史贡献3D图
后端·开源
热门推荐
01〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04DisplayPort AltMode On Type-c协议_Ver2.0(学习笔记)05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问076个主流的工业3D管道设计软件08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10树莓派 5 AI 套件（Hailo-8L）使用教程