SQL Server 2022新功能：将数据库备份到S3兼容的对象存储

桦仔2025-02-10 8:10

SQL Server 2022新功能：将数据库备份到S3兼容的对象存储

本文介绍将S3兼容的对象存储用作数据库备份目标所需的概念、要求和组件。 数据库备份和恢复功能在概念上类似于使用SQL Server备份到Azure Blob存储的URL作为备份设备类型。

要注意的是，不只是amazon S3对象存储，只要兼容S3协议的对象存储都可以备份。

对象存储集成功能

SQL Server 2022（16.x）引入了对象存储集成功能，使您可以将SQL Server与S3兼容的对象存储集成。为了提供这种集成，SQL Server支持一个S3连接器，它使用S3 REST API连接到任何S3兼容的对象存储提供商。SQL Server 2022（16.x）通过增加对使用REST API的新S3连接器的支持，扩展了现有的BACKUP/RESTORE TO/FROM URL命令的语法。

  • 指向S3兼容资源的URL以s3://为前缀，表示正在使用S3连接器。以s3://开头的URL始终假定底层协议为https。

  • 文件编号和文件大小限制 为了存储数据，S3兼容对象存储提供商必须将文件分割成多个称为"部分"的块，这类似于微软Azure Blob存储中的块Blob。

S3端点的前提条件

S3端点必须按以下方式配置：

  • 1、必须配置TLS。假定所有连接将通过HTTPS而非HTTP进行安全传输。端点通过安装在SQL Server操作系统主机上的证书进行验证。

  • 2、在S3兼容的对象存储中创建凭据，具有执行操作所需的适当权限。在存储层上创建的用户和密码被称为访问密钥ID（Access Key ID）和秘密密钥ID（Secret Key ID）。您需要这两个密钥才能对S3端点进行身份验证。

  • 3、至少配置了一个存储桶。

Linux平台支持

SQL Server使用 WinHttp 实现其所使用的HTTP REST API客户端。它依赖操作系统证书存储来验证由HTTP(S)端点提供的TLS证书。然而，在Linux平台上运行的SQL Server的CA证书必须放置在一个预定义的位置，即/var/opt/mssql/security/ca-certificates 文件夹中，且该文件夹最多只能存储和支持前50个证书。在启动SQL Server进程之前，必须将CA证书放置在该位置。SQL Server在启动时从该文件夹读取证书，并将它们添加到信任存储中。

示例

  • 创建凭据

凭据的名称应提供存储路径，并且根据存储平台的不同有多个标准。

当使用S3连接器时，IDENTITY应始终为 'S3 Access Key'。 Access Key ID和Secret Key ID中不得包含冒号。 Access Key ID和Secret Key ID是在S3兼容的对象存储上创建的用户名和密码。 Access Key ID 必须具有适当的权限来访问S3兼容的对象存储中的数据。 使用CREATE CREDENTIAL创建服务器级凭据以进行与S3兼容的对象存储端点的身份验证。

AWS S3 支持两种不同的 URL 标准。

S3://<BUCKET_NAME>.S3.<REGION>.AMAZONAWS.COM/<FOLDER>（默认）
S3://S3.<REGION>.AMAZONAWS.COM/<BUCKET_NAME>/<FOLDER>

代码如下:

USE [master];
GO
CREATE CREDENTIAL [s3://<endpoint>:<port>/<bucket>]
WITH
        IDENTITY    = 'S3 Access Key',
        SECRET      = '<AccessKeyID>:<SecretKeyID>';
GO

BACKUP DATABASE [SQLTestDB]
TO      URL = 's3://<endpoint>:<port>/<bucket>/SQLTestDB.bak'
WITH    FORMAT ,STATS = 10, COMPRESSION;

有多种方法可以为AWS的S3对象存储创建凭据。

  • S3 存储桶名称：datavirtualizationsample

  • S3 存储桶区域：us-west-2

  • S3 存储桶文件夹：backup

    CREATE CREDENTIAL [s3://datavirtualizationsample.s3.us-west-2.amazonaws.com/backup]
    WITH
    IDENTITY = 'S3 Access Key'
    , SECRET = 'accesskey:secretkey';
    GO

    BACKUP DATABASE [AdventureWorks2022]
    TO URL = 's3://datavirtualizationsample.s3.us-west-2.amazonaws.com/backup/AdventureWorks2022.bak'
    WITH COMPRESSION, FORMAT, MAXTRANSFERSIZE = 20971520;
    GO
    --或者
    CREATE CREDENTIAL [s3://s3.us-west-2.amazonaws.com/datavirtualizationsample/backup]
    WITH
    IDENTITY = 'S3 Access Key'
    , SECRET = 'accesskey:secretkey';
    GO

    BACKUP DATABASE [AdventureWorks2022]
    TO URL = 's3://s3.us-west-2.amazonaws.com/datavirtualizationsample/backup/AdventureWorks2022.bak'
    WITH COMPRESSION, FORMAT, MAXTRANSFERSIZE = 20971520;
    GO

备份到 URL和从 URL 恢复

备份到 URL

以下示例将执行完整的数据库进行备份文件分割，然后备份到对象存储端点：
BACKUP DATABASE <db_name>
TO      URL = 's3://<endpoint>:<port>/<bucket>/<database>_01.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_02.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_03.bak'
WITH    FORMAT ,STATS = 10, COMPRESSION;

从 URL 恢复

以下示例将从对象存储端点位置执行数据库恢复：
RESTORE DATABASE <db_name>
FROM    URL = 's3://<endpoint>:<port>/<bucket>/<database>_01.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_02.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_03.bak'
WITH    REPLACE ,  STATS  = 10;

加密和压缩备份选项

以下示例展示如何使用加密和压缩来备份和恢复 AdventureWorks2022 数据库：

CREATE MASTER KEY ENCRYPTION BY PASSWORD = <password>;
GO

CREATE CERTIFICATE AdventureWorks2022Cert
    WITH SUBJECT = 'AdventureWorks2022 Backup Certificate';
GO
-- 备份数据库
BACKUP DATABASE AdventureWorks2022
TO URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022_Encrypt.bak'
WITH FORMAT, COMPRESSION,
ENCRYPTION (ALGORITHM = AES_256, SERVER CERTIFICATE = AdventureWorks2022Cert)
GO

-- 恢复数据库
RESTORE DATABASE AdventureWorks2022
FROM URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022_Encrypt.bak'
WITH REPLACE

使用区域参数进行备份和恢复

以下示例展示如何使用REGION_OPTIONS选项进行备份和恢复 AdventureWorks2022 数据库：

您可以在每个BACKUP / RESTORE命令中添加区域参数。 请注意，在BACKUP_OPTIONS和RESTORE_OPTIONS中使用了S3存储特定的区域字符串， 例如 '{"s3": {"region":"us-west-2"}}'。默认区域是 us-east-1。

-- 备份数据库
BACKUP DATABASE AdventureWorks2022
TO URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022.bak'
WITH BACKUP_OPTIONS = '{"s3": {"region":"us-west-2"}}'

-- 恢复数据库
RESTORE DATABASE AdventureWorks2022
FROM URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022.bak'
WITH  RESTORE_OPTIONS = '{"s3": {"region":"us-west-2"}}'

SQL Server 2008的压缩备份是一个新特性，根据实际使用中的观察，压缩比至少在1:5左右，也就是备份时增加了压缩选项（COMPRESSION）后可以至少压缩到数据文件大小的20%甚至更低，

可以很大程度上加快备份执行时间，减轻IO压力和节省备份服务器的磁盘存储空间。

-- 备份数据库
BACKUP DATABASE SQLTestDB TO DISK = 'c:\tmp\SQLTestDB.bak'  WITH stats =5 , COMPRESSION 
GO

总结

SQL Server 2022通过新引入的S3连接器，SQL Server能够支持通过REST API与S3兼容存储集成。用户可以配置存储桶和凭据，通过URL指向存储位置进行备份和恢复。此外，还提供了加密、压缩等备份选项，以及在Linux平台上的特殊配置要求。示例展示了如何创建凭据、执行备份和恢复操作，支持区域参数指定备份和恢复的地域。

参考文章

https://learn.microsoft.com/en-us/sql/relational-databases/backup-restore/sql-server-backup-to-url-s3-compatible-object-storage?view=sql-server-ver16\&viewFallbackFrom=sql-server-ver15

https://aws.amazon.com/cn/blogs/modernizing-with-aws/backup-sql-server-to-amazon-s3/

https://www.mssqltips.com/sqlservertip/7302/backup-sql-server-2022-database-aws-s3-storage/

本文版权归作者所有，未经作者同意不得转载。

热门推荐
01如何在WPS和Word/Excel中直接使用DeepSeek功能02DeepSeek本地部署详细指南03DeepSeek r1本地安装全指南04DeepSeek各版本说明与优缺点分析05DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具06在Windows下安装Ollama并体验DeepSeek r1大模型07本地部署DeepSeek教程（Mac版本）08Ollama 安装教程：轻松开启本地大语言模型之旅09将DeepSeek接入Word，打造AI办公助手10保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型