AWS S3在客户端应用不能使用aws-sdk场景下的文件上传与下载

简介

通常情况下,应用程序上传文件到AWS S3,会使用aws-sdk,但是有些情况下,客户端应用会有安装限制,比如不能安装aws-sdk,此时我们就需要通过其他方式实现文件上传与下载。

这里我们提供一个服务端,在服务端安装aws-sdk。对于文件上传,服务端通过aws-sdk生成一个upload policy,然后将这个upload policy返回给客户端,客户端通过这个upload policy上传文件。对于文件下载,服务端通过aws-sdk生成一个presigned url,然后将这个presigned url返回给客户端,客户端通过这个presigned url下载文件。

文件上传

服务端安装aws-sdk

shell 复制代码
npm install @aws-sdk/client-s3 
npm install @aws-sdk/s3-request-presigner
npm install @aws-sdk/s3-presigned-post

服务端生成upload policy

在服务端的 controller 里添加一个路由产生并返回 upload policy

typescript 复制代码
import { S3Client } from "@aws-sdk/client-s3";
import { createPresignedPost } from '@aws-sdk/s3-presigned-post';
import { Conditions } from "@aws-sdk/s3-presigned-post/dist-types/types";

...

app.get("/s3/getUploadPolicy", async (req: Request, res: Response) => {
    const bucket = req.query.bucket?.toString();
    const key = req.query.key?.toString();
    const id = req.query.id?.toString();
    if (bucket && key) {
        const fields = {'x-amz-meta-uuid': '' + id};
        const conditions: Conditions[] = [
            ['starts-with', '$key', key],
            ['content-length-range', 16, 10 * 1024 * 1024],
            ['starts-with', '$Content-Type', '']
        ];

        const params = {
            Bucket: bucket,
            Key: key,
            Conditions: conditions,
            Fields: fields,
            Expires: 10 * 60 * 60,
        };
        const client = new S3Client();
        const policy = await createPresignedPost(client, params);
        res.json({ policy: policy });
    } else {
        res.json({ error: 'error' });
    }
});

客户端上传文件

客户端上传需要使用form-data库做表单提交,因此需要先安装form-data库

shee 复制代码
npm install form-data

客户端上传代码如下:

typescript 复制代码
import * as FormData from 'form-data';
import { createReadStream } from "fs";

async function testForUpload(bucket: string, key: string, id: string, file: string) {
    // http://localhost:3000/s3/getUploadPolicy?bucket=mybucket&key=abc.tar.gz&uuid=12345
    const url = `http://localhost:3000/s3/getUploadPolicy?bucket=${bucket}&key=${key}&uuid=${id}`;
    const response = await fetch(url);
    const policy = await response.json();
    console.log(policy);

    const form = new FormData();
    form.append('key', policy.fields.key);
    form.append('Content-Type', 'application/gzip');
    form.append('X-Amz-Credential', policy.fields['X-Amz-Credential']);
    form.append('X-Amz-Algorithm', policy.fields['X-Amz-Algorithm']);
    form.append('X-Amz-Date', policy.fields['X-Amz-Date']);
    form.append('Policy', policy.fields.Policy);
    form.append('X-Amz-Signature', policy.fields['X-Amz-Signature']);
    form.append('x-amz-meta-uuid', policy.fields['x-amz-meta-uuid']);

    form.append('file', createReadStream(file));
    await form.submit(policy.url);
}
// testForUpload('mybucket', 'abc.tar.gz', '12345', '/Volumes/mydisk/test/abc.tar.gz');
  • 客户端代码首先调用服务端接口获取upload policy,请求的时候传递bucket、key和id,服务端会根据这些参数生成upload policy;
  • 然后客户端使用form-data库生成一个form,将参数、policy和文件添加到form中,然后将form提交到服务端返回的url;

文件下载

服务端安装aws-sdk

shell 复制代码
npm install @aws-sdk/client-s3 
npm install @aws-sdk/s3-request-presigner
npm install @aws-sdk/s3-presigned-post

服务端生成签名的文件下载链接

在服务端的 controller 里添加一个路由产生并返回签名的文件访问url

typescript 复制代码
import {
    S3Client,
    GetObjectCommand,
} from "@aws-sdk/client-s3";
import {getSignedUrl} from '@aws-sdk/s3-request-presigner';

...

app.get("/s3/getDownloadUrl", async (req: Request, res: Response) => {
    const bucket = req.query.bucket?.toString();
    const key = req.query.key?.toString();
    if (bucket && key) {
        const client = new S3Client();
        const url = await getSignedUrl(
            client,
            new GetObjectCommand({
                Bucket: bucket,
                Key: key,
            }),
            {
                expiresIn: 10 * 60 * 60,
            }
        );
        res.json({ url: url });
    } else {
        res.json({ error: 'error' });
    }
});

然后客户端请求此链接,并添加bucket和key参数,比如http://localhost:3000/s3/getDownloadUrl?bucket=mybucket\&key=abc.tar.gz,即可获取签名的文件下载链接。

相关推荐
请你喝好果汁64112 小时前
Kingfisher 下载ENA、NCBI SRA、AWS 和 Google Cloud)序列数据和元数据
云计算·aws
九陌斋12 小时前
如何使用AWS Lambda构建一个云端工具(超详细)
云计算·aws
嚯——哈哈12 小时前
AWS云服务器:开启高效计算的新纪元
服务器·云计算·aws
嚯——哈哈12 小时前
从入门到精通:解析如何使用亚马逊云服务器(AWS EC2)
运维·服务器·aws
w_t_y_y12 小时前
aws服务(二)机密数据存储
aws
徒步僧12 小时前
ThingsBoard规则链节点:AWS SNS 节点详解
云计算·aws
九河云12 小时前
如何对AWS进行节省
大数据·云计算·aws
w_t_y_y2 天前
AwsCredentialsProvider认证接口
aws
w_t_y_y2 天前
aws凭证(一)凭证存储
云计算·aws
Lovely_red_scarf2 天前
aws上安装ssm-agent
aws