华为 Obs 的使用

简介

什么是对象存储服务

对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。

我们一般是用Minio,但华为是用这个的。

OBS的基本组成是对象

桶是OBS中存储对象的容器,每个桶都有自己的存储类别、访问权限、所属区域等属性,用户在互联网上通过桶的访问域名来定位桶。

对象是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息的集合体,包括Key、Metadata、Data三部分:

  • Key:键值,即对象的名称,为经过UTF-8编码的长度大于0且不超过1024的字符序列。一个桶里的每个对象必须拥有唯一的对象键值。
  • Metadata:元数据,即对象的描述信息,包括系统元数据和用户元数据,这些元数据以键值对(Key-Value)的形式被上传到OBS中。
    • 系统元数据由OBS自动产生,在处理对象数据时使用,包括Date,Content-length,Last-modify,ETag等。
    • 用户元数据由用户在上传对象时指定,是用户自定义的对象描述信息。
  • Data:数据,即文件的数据内容。

针对OBS提供的REST API进行了二次开发,为您提供了管理控制台、SDK和各类工具,方便您在不同的场景下轻松访问OBS桶以及桶中的对象。您也可以利用OBS提供的SDK和API,根据您业务的实际情况自行开发,以满足不同场景的海量数据存储诉求。

OBS浏览器

Obs Browser Plus

Obs Browser Plus下载地址:

下载OBS Browser+_OBS Browser+_工具指南_对象存储服务 OBS-华为云

登录Obs Browser Plus:

在OBS浏览器创建桶

参数 说明
区域 选择新建桶所在的Region。 * 桶创建成功后不支持变更区域,请谨慎选择。 * 建议选择靠近您业务的区域创建桶,以降低网络时延,提高访问速度。 * 如果希望ECS通过内网访问OBS桶,需要确保桶和ECS属于同一个区域,详情请参见在ECS上通过内网访问OBS
存储类别 桶的存储类别。 不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 * 标准存储:适用于有大量热点文件或小文件,且需要频繁访问(平均一个月多次)并快速获取数据的业务场景。 * 低频访问存储:适用于不频繁访问(平均一年少于12次),但需要快速获取数据的业务场景。 * 归档存储:适用于很少访问(平均一年一次),且对数据获取速率要求不高的业务场景。 说明: 创建桶时选择的存储类别会作为上传对象的默认存储类别,您也可以在上传对象时指定对象的存储类别。 更多详情请参见存储类别
桶ACL 桶的读写权限控制。 * 私有:除桶ACL授权外的其他用户无桶的访问权限。 * 公共读:任何用户都可以对桶内对象进行读操作。 * 公共读写:任何用户都可以对桶内对象进行读/写/删除操作。
多AZ 开启多AZ后,桶中的数据在同区域的多个可用区(AZ)中存储。 桶创建成功后,不支持修改数据冗余存储策略。
桶名称 输入需要创建的桶的名称,"桶名称"需全局唯一。 具体命名规则如下: * 3~63个字符,数字或字母开头,支持小写字母、数字、"-"、"."。 * 禁止使用类IP地址。 * 禁止以"-"或"."开头及结尾。 * 禁止两个"."相邻(如:"my..bucket")。 * 禁止"."和"-"相邻(如:"my-.bucket"和"my.-bucket")。 桶创建成功后,不支持修改桶名称。 每个用户最多可在OBS 对象存储中创建100个桶。 说明: * 可以单击桶名输入框后的了解桶的命名规则详情。 * 由于通过URL访问桶时,桶名会作为URL的一部分,根据DNS标准,URL不支持大写字母,无法区分带大写字母的桶。因此,"桶名称"仅支持小写字母、数字、"-"、"."作为桶的命名规则。例如:如果想通过URL访问名为"MyBucket"的桶,该URL将解析成名为"mybucket"的桶,导致访问出错。 * DNS命名规范方便全局统一,方便在访问桶时对桶进行解析,可以使客户受益于新功能和优化性能,并支持对桶进行静态网站托管。

搜索

查看桶的基本信息

删除桶

Obsutils

obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil能在执行批量处理、自动化任务场景能为您带来更优体验。

obsutil适用于Windows、Linux和macOS三大主流的操作系统。

下载

针对不同操作系统,obsutil的下载地址如表1所示。

操作系统 软件包下载地址 SHA256校验和
Windows 64位 obsutil_windows64 5d2ac96e400fdc71c75859e845aa4e8de983c8cec5e34bd0664d469c8dc2df9d
Linux AMD 64位 (Linux x86 64位) obsutil_linux_amd64 7f7febcd65351830cc5ac31b5707d9709e893d9d0ac66d8b7531c29b2e0a42c3
Linux ARM 64位 obsutil_linux_arm64 1e3584a3db9aa08126f3fb0ba573f8c93a7b10e3abff1915ea906885d377f509
macOS 64位 obsutil_mac64 231dcc350ee0ef901bafd385d639a25d053ccaac2025d7717b02ade86654c28d
[表1下载地址]

使用方法

以Windows环境为例,双击exe文件打开:

在命令行输入密钥和endpoint

创建一个桶:

obsutil mb obs://tntxia-bucket-test2 -location=cn-north-4

上传一个文件

obsutil cp /aa.jpg obs://tntxia-bucket-test2/aa.jpg

下载文件:

obsutil cp obs://tntxia-bucket-test2/aa.jpg bb.jpg

这个命令和上传是一样的,只是源文件和目标文件交换了。

分享文件

obsutil sign obs://tntxia-bucket-test2/aa.jpg

OBS SDK

如果你是程序员,那么你大概率还是使用主流语言来处理OBS。那么你一定需要使用OBS SDK

OBS提供了以下主流语言SDK供开发者使用:

语言 Github地址 SDK开发指南 API参考
Java huaweicloud-sdk-java-obs Java SDK开发指南 -
Python huaweicloud-sdk-python-obs Python SDK开发指南 -
C huaweicloud-sdk-c-obs C SDK开发指南 -
Go huaweicloud-sdk-go-obs Go SDK开发指南 -
BrowserJS huaweicloud-sdk-browserjs-obs BrowserJS SDK开发指南 BrowserJS SDK API参考
.NET huaweicloud-sdk-dotnet-obs .NET SDK开发指南 .NET SDK API参考
Android huaweicloud-sdk-Android-obs Android SDK开发指南 Android SDK API参考
iOS NA iOS SDK开发指南 iOS SDK API参考
PHP huaweicloud-sdk-php-obs PHP SDK开发指南 PHP SDK API参考
Node.js huaweicloud-sdk-nodejs-obs Node.js SDK开发指南 -
Harmony NA Harmony SDK开发指南 -
[ ]

这里以JDK为例

首先加入Maven依赖:

XML 复制代码
<dependency>
            <groupId>com.huaweicloud</groupId>
            <artifactId>esdk-obs-java-bundle</artifactId>
            <version>3.23.9</version>
        </dependency>

创建桶

java 复制代码
package com.tntxia.javatest.obssdk;

/**
 * @author chenshixian
 **/

import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.AccessControlList;
import com.obs.services.model.AvailableZoneEnum;
import com.obs.services.model.CreateBucketRequest;
import com.obs.services.model.ObsBucket;
import com.obs.services.model.StorageClassEnum;

public class CreateBucket001 {
    public static void main(String[] args) {
        // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
        // 您可以登录访问管理控制台获取访问密钥AK/SK
        String ak = System.getenv("ACCESS_KEY_ID");
        String sk = System.getenv("SECRET_ACCESS_KEY_ID");
        // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
        // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。
        // String securityToken = System.getenv("SECURITY_TOKEN");

        // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";

        // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。
        //String endPoint = System.getenv("ENDPOINT");

        // 创建ObsClient实例
        // 使用永久AK/SK初始化客户端
        ObsClient obsClient = new ObsClient(ak, sk,endPoint);
        // 使用临时AK/SK和SecurityToken初始化客户端
        // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint);

        try {
            CreateBucketRequest request = new CreateBucketRequest();
            //示例桶名
            String exampleBucket = "examplebucket";
            //示例桶区域位置
            String exampleLocation = "cn-north-4";
            request.setBucketName(exampleBucket);
            // 设置桶ACL为私有读写,默认也是私有读写
            request.setAcl(AccessControlList.REST_CANNED_PRIVATE);
            // 设置桶的存储类别为标准存储
            request.setBucketStorageClass(StorageClassEnum.STANDARD);
            // 设置桶区域位置(以区域为华北-北京四为例),location 需要与 endpoint的位置信息一致
            request.setLocation(exampleLocation);
            // 指定创建多AZ桶,如果不设置,默认创建单AZ桶
            request.setAvailableZone(AvailableZoneEnum.MULTI_AZ);
            // 创建桶
            ObsBucket bucket = obsClient.createBucket(request);
            // 创建桶成功
            System.out.println("CreateBucket successfully");
            System.out.println("RequestId:"+bucket.getRequestId());


        } catch (ObsException e) {
            System.out.println("CreateBucket failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code: " + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message: " + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
        } catch (Exception e) {
            System.out.println("CreateBucket failed");
            // 其他异常信息打印
            e.printStackTrace();

        }
    }
}

上传文件

java 复制代码
import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.PutObjectRequest;
import java.io.File;
public class PutObject004 {
    public static void main(String[] args) {
        // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
        // 您可以登录访问管理控制台获取访问密钥AK/SK
        String ak = System.getenv("ACCESS_KEY_ID");
        String sk = System.getenv("SECRET_ACCESS_KEY_ID");
        // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
        // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。
        // String securityToken = System.getenv("SECURITY_TOKEN");
        // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";
        // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。
        //String endPoint = System.getenv("ENDPOINT");
        
        // 创建ObsClient实例
        // 使用永久AK/SK初始化客户端
        ObsClient obsClient = new ObsClient(ak, sk,endPoint);
        // 使用临时AK/SK和SecurityToken初始化客户端
        // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint);

        try {
            // 文件上传
            // localfile 为待上传的本地文件路径,需要指定到具体的文件名
            PutObjectRequest request = new PutObjectRequest();
            request.setBucketName("examplebucket");
            request.setObjectKey("objectkey");
            request.setFile(new File("localfile"));
            obsClient.putObject(request);
            System.out.println("putObject successfully");
        } catch (ObsException e) {
            System.out.println("putObject failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code:" + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message:" + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("putObject failed");
            // 其他异常信息打印
            e.printStackTrace();
        }
    }
}

下载文件

java 复制代码
import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.ObsObject;
import java.io.ByteArrayOutputStream;
import java.io.InputStream;
public class GetObject001 {
    public static void main(String[] args) {
        // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
        // 您可以登录访问管理控制台获取访问密钥AK/SK
        String ak = System.getenv("ACCESS_KEY_ID");
        String sk = System.getenv("SECRET_ACCESS_KEY_ID");
        // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
        // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。
        // String securityToken = System.getenv("SECURITY_TOKEN");
        // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。查看桶所在的endpoint请参见:https://support.huaweicloud.com/usermanual-obs/obs_03_0312.html。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";
        // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。
        //String endPoint = System.getenv("ENDPOINT");
        
        // 创建ObsClient实例
        // 使用永久AK/SK初始化客户端
        ObsClient obsClient = new ObsClient(ak, sk,endPoint);
        // 使用临时AK/SK和SecurityToken初始化客户端
        // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint);

        try {
            // 流式下载
            ObsObject obsObject = obsClient.getObject("examplebucket", "objectname");
            // 读取对象内容
            System.out.println("Object content:");
            InputStream input = obsObject.getObjectContent();
            byte[] b = new byte[1024];
            ByteArrayOutputStream bos = new ByteArrayOutputStream();
            int len;
            while ((len = input.read(b)) != -1) {
                bos.write(b, 0, len);
            }
            System.out.println("getObjectContent successfully");
            System.out.println(new String(bos.toByteArray()));
            bos.close();
            input.close();
        } catch (ObsException e) {
            System.out.println("getObjectContent failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code:" + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message:" + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("getObjectContent failed");
            // 其他异常信息打印
            e.printStackTrace();
        }
    }
}

列出对象

java 复制代码
import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.ObjectListing;
import com.obs.services.model.ObsObject;
public class ListObjects001 {
    public static void main(String[] args) {
        // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
        // 您可以登录访问管理控制台获取访问密钥AK/SK
        String ak = System.getenv("ACCESS_KEY_ID");
        String sk = System.getenv("SECRET_ACCESS_KEY_ID");
        // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
        // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。
        // String securityToken = System.getenv("SECURITY_TOKEN");
        // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";
        // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。
        //String endPoint = System.getenv("ENDPOINT");
        
        // 创建ObsClient实例
        // 使用永久AK/SK初始化客户端
        ObsClient obsClient = new ObsClient(ak, sk,endPoint);
        // 使用临时AK/SK和SecurityToken初始化客户端
        // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint);

        try {
            // 简单列举
            ObjectListing result = obsClient.listObjects("examplebucket");
            for (ObsObject obsObject : result.getObjects()) {
                System.out.println("listObjects successfully");
                System.out.println("ObjectKey:" + obsObject.getObjectKey());
                System.out.println("Owner:" + obsObject.getOwner());
            }
        } catch (ObsException e) {
            System.out.println("listObjects failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code:" + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message:" + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("listObjects failed");
            // 其他异常信息打印
            e.printStackTrace();
        }
    }
}

删除文件

java 复制代码
public void deleteObject(String objectKey) {
        try {
            // 删除单个对象
            obsClient.deleteObject(bucketName, objectKey);
            System.out.println("deleteObject successfully");
        } catch (ObsException e) {
            System.out.println("deleteObject failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code:" + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message:" + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("deleteObject failed");
            // 其他异常信息打印
            throw new RuntimeException(e);
        }
    }
相关推荐
边疆.19 分钟前
【Linux】文件系统
linux·运维·服务器·磁盘·文件系统·软硬链接
做人不要太理性3 天前
【Linux系统】ext2文件系统
大数据·linux·操作系统·文件系统
奔跑吧邓邓子7 天前
【C语言实战(72)】C语言文件系统实战:解锁目录与磁盘IO的奥秘
c语言·文件系统·目录·开发实战·磁盘io
未来之窗软件服务7 天前
幽冥大陆(三十七)文件系统路径格式化——东方仙盟筑基期
前端·javascript·文件系统·仙盟创梦ide·东方仙盟
ASUJY14 天前
文件系统原理(基于Linux0.11)
linux·文件系统·linux0.11
code monkey.16 天前
【Linux之旅】深入 Linux Ext 系列文件系统:从磁盘物理结构到软硬链接的底层逻辑
linux·文件系统·ext2
子牙老师1 个月前
硬盘第一关:MBR VS GPT
linux·操作系统·文件系统
2401_858286111 个月前
OS36.【Linux】简单理解EXT2文件系统(2)
linux·运维·服务器·数据结构·文件系统·ext2
日更嵌入式的打工仔1 个月前
文件系统LittleFS
文件系统