如何使用断点续传方式上传大文件到阿里云 OSS

要使用断点续传方式上传大文件到阿里云 OSS,一般可以通过阿里云提供的 SDK 来实现。以下是使用 Java SDK 进行断点续传上传的示例代码,前提条件如下:

  • 已创建存储空间(bucket)。

  • 具有oss:putObject权限。

  • SDK 会将上传的状态信息记录在 checkpoint 文件中,所以要确保程序对 checkpoint 文件有写权限。

  • 请勿修改 checkpoint 文件中携带的校验信息,如果 checkpoint 文件损坏,则会重新上传所有分片。

  • 如果上传过程中本地文件发生了改变,则会重新上传所有分片。

    java 复制代码
    import com.aliyun.oss.OSS;
    import com.aliyun.oss.common.auth.*;
    import com.aliyun.oss.OSSClientBuilder;
    import com.aliyun.oss.model.*;
    
    public class Demo {
        public static void main(String[] args) {
            // endpoint 以华东 1(杭州)为例,其它 region 请按实际情况填写。
            String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
            // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量 oss_access_key_id 和 oss_access_key_secret。
            EnvironmentVariableCredentialProvider credentialProvider = CredentialProviderFactory.newEnvironmentVariableCredentialProvider();
            // 创建 OSSClient 实例。
            OSS ossClient = new OSSClientBuilder().build(endpoint, CredentialProvider);
            try {
                ObjectMetadata meta = new ObjectMetadata();
                // 指定上传的内容类型。
                meta.setContentType("text/plain");
                // 文件上传时设置访问权限 ACL。
                // meta.setObjectAcl(CannedAccessControlList.Private); 
                // 通过 UploadFileRequest 设置多个参数。
                // 依次填写 bucket 名称(例如 examplebucket)以及 object 完整路径(例如 exampledir/exampleobject.txt),object 完整路径中不能包含 bucket 名称。
                UploadFileRequest uploadFileRequest = new UploadFileRequest("examplebucket", "exampledir/exampleobject.txt");
                // 通过 uploadFileRequest 设置单个参数。
                // 填写本地文件的完整路径,例如 d:\\localpath\\examplefile.txt。如果未指定本地路径,则默认从示例程序所属项目对应本地路径中上传文件。
                uploadFileRequest.setUploadFile("d:\\localpath\\examplefile.txt");
                // 指定上传并发线程数,默认值为 1。
                uploadFileRequest.setTaskNum(5); 
                // 指定上传的分片大小,单位为字节,取值范围为 100KB~5GB。默认值为 100KB。
                uploadFileRequest.setPartSize(1 * 1024 * 1024); 
                // 开启断点续传,默认关闭。
                uploadFileRequest.setEnableCheckpoint(true); 
                // 记录本地分片上传结果的文件。上传过程中的进度信息会保存在该文件中,如果某一分片上传失败,再次上传时会根据文件中记录的点继续上传。上传完成后,该文件会被删除。
                // 如果未设置该值,默认与待上传的本地文件同路径,名称为${uploadFile}.ucp。
                uploadFileRequest.setCheckpointFile("yourcheckpointfile"); 
                // 文件的元数据。
                uploadFileRequest.setObjectMetadata(meta);
                // 设置上传回调,参数为 callback 类型。
                // uploadFileRequest.setCallback("yourcallbackevent"); 
                // 断点续传上传。
                ossClient.uploadFile(uploadFileRequest);
            } catch (OSSException oe) {
                System.out.println("Caught an OSSException, which means your request made it to OSS, "
                        + "but was rejected with an error response for some reason.");
                System.out.println("ErrorMessage: " + oe.getErrorMessage());
                System.out.println("ErrorCode: " + oe.getErrorCode());
                System.out.println("RequestId: " + oe.getRequestId());
                System.out.println("HostId: " + oe.getHostId());
            } catch (Throwable ce) {
                System.out.println("Caught an client exception, which means the client encountered "
                        + "a serious internal problem while trying to communicate with OSS, "
                        + "such as not being able to access the network.");
                System.out.println("Error message: " + ce.getMessage());
            }
        }
    }

    上述代码中,通过设置UploadFileRequest对象的相关参数来启用断点续传功能,例如设置并发线程数、分片大小、开启断点续传并指定 checkpoint 文件等。

    不同编程语言的 SDK 使用方式可能会有所差异,如果你使用的是其他编程语言的 SDK,可以参考相应 SDK 的文档来找到断点续传上传的具体方法和示例代码。

    另外,OSS 还提供了一些其他工具,如ossutil,也支持大文件的断点续传,你可以从其官网获取详细的使用说明和示例。同时需注意,在实际使用中要处理好可能出现的异常情况,以确保上传的稳定性和可靠性。

相关推荐
liyuanchao_blog1 小时前
OVN/OVS场景下虚拟机新网卡通过 DHCP 获取 IP 地址的完整过程
网络·网络协议·tcp/ip·云计算
论文复现现场5 小时前
MiniMaxH3 生成视频速度慢、电脑带不动怎么办?用 RTX 5090 云端镜像快速运行
云计算·电脑·音视频·gpu算力
2501_9304724412 小时前
03_AWS迁移腾讯云_组件差异风险清单与工作量WBS
云计算·腾讯云·aws
sbjdhjd14 小时前
PHP RCE 多层绕过实战:关键字过滤、空格替换与 php://filter 伪协议 | 02
网络·安全·web安全·网络安全·云计算·安全架构·rce
Alwayswinnn1 天前
27届秋招实录:从手动填表到自动化辅助的效率跃升
阿里云·自动化·秋招·大学生找工作·应届生就业·ai求职工具·一键投简历
论文复现现场1 天前
RTX 4090 24GB 能跑 Qwen3.8-27B 吗?单卡显存计算与云端部署指南
人工智能·python·云计算·llama·gpu算力
阿里云大数据AI技术1 天前
数据平台开始“支撑 Agent”:DataWorks Data Agent 如何重构企业数据生产方式
人工智能·阿里云·dataworks·数据平台·data agent
聚搜云——JuSouClouD1 天前
杭州腾讯云代理商:腾讯云2核4G服务器够用吗?网站、API和开发测试怎么选
服务器·云计算·腾讯云
范桂飓2 天前
AWS Kiro Agent 架构解析
架构·云计算·aws
Java小白笔记2 天前
Java 实现阿里云 OSS 文件上传链路:普通上传、秒传、分片与断点续传
java·开发语言·数据库·spring·阿里云