亚马逊AWS官方博客

新增 – Amazon S3 复制增加了对多个目标存储桶的支持

Amazon Simple Storage Service (S3) 支持很多类型的复制,包括 2019 年推出的 S3 相同区域复制 (SRR) 和大概从 2015 年开始的 S3 跨区域复制 (CRR)。今天,我们很高兴地宣布为多个目标存储桶提供 S3 复制支持。S3 复制现在可让您将数据从一个源存储桶复制到多个目标存储桶中。借助 S3 复制(多目标),您可以使用 S3 SRR 复制在相同 AWS 区域中复制数据,或使用 S3 CRR 跨不同 AWS 区域复制数据,或执行此两者。

在此次发布之前,如果您需要在不同的 S3 存储桶中对数据进行多次复制,您必须通过监控 S3 事件、识别创建的对象及使用 AWS Lambda 函数将对象复制到每个目标存储桶来构建自己的 S3 复制服务。

此次发布后,您不需要开发自己的解决方案来跨多个目标复制数据。您可以使用灵活的 S3 复制(多目标)功能将数据的多个副本存储在不同的存储类中,使用不同的加密类型进行存储或跨不同账户存储,具体取决于它的预期用途。此外,当复制到多个目标时,您可以使用 CloudWatch 指标跟踪每个区域对的复制进度。

S3 复制(多目标)是 S3 复制的扩展,它支持所有现有的 S3 复制功能,例如复制时间控制 (RTC) 和删除标记复制。如果您需要服务等级协议支持的可预测复制时间,您可以使用 RTC 在 15 分钟内复制对象

如何开始使用 S3 复制(多目标)
为了使 S3 复制正常使用,复制中涉及的所有存储桶(源和目标)都必须启用存储桶版本控制

要设置 S3 复制(多目标),您需要定义复制规则。您可以在存储桶 Management(管理)页面的 Replication Rules(复制规则)下创建新规则。

添加规则的屏幕截图

创建新的复制规则时,一个非常重要的步骤是设置复制权限,因为 S3 需要代表您复制对象。为此,您可以按照 S3 文档页面中的说明进行操作。

要创建复制规则,只需按照控制台中的步骤操作即可。如果要更改复制对象的存储类以及复制对象的其他很多首选项,您可以指定此规则适用于存储桶的哪些对象、目标存储桶。

配置复制规则的屏幕截图

激活规则时需要记住的一件事是,从那一刻起,将开始复制添加到存储桶的所有新对象。创建规则之前上传到存储桶的对象需要使用 S3 批处理操作S3 复制等一次性操作进行复制。

如果您想使用 CloudWatch 指标监控复制进度,请不要忘记单击 Replication metrics and notifications(复制指标和通知)复选框。

配置复制规则指标的屏幕截图

现在我们支持多个复制目标,当同一目标存在两个或更多规则时,将使用规则优先级。发生这种情况时,将应用优先级最高的规则。对于同一个目标存储桶,如果复制配置具有重叠范围的两个或更多规则,则不会应用优先级较低的规则。如果有两个或更多规则具有相同范围和不同目标,则将应用这两个规则。

您可以在存储桶 Management(管理)页面下的 Replication rules(复制规则)列表中看到所有规则的摘要。

复制规则列表的屏幕截图

监控复制
配置了所有规则后,您可以开始将对象上传到源存储桶,并监控如何在所有不同目标中复制这些对象。

要了解源存储桶中对象的复制状态,您可以在对象 Details(详细信息)中查看 Replication status(复制状态)。状态类型是:

  • COMPLETED(已完成):所有目标中的复制均已成功完成。
  • PENDING(待定):复制仍在进行中。
  • FAILED(失败):至少一个目标中的复制失败。当复制失败时,唯一的解决方法是再次上传对象。

对象元数据的截图

对于复制的对象,您将在 Replication status(复制状态)下看到 REPLICA(副本)状态。

您还可以使用 CloudWatch 指标监控复制。首先,您需要为每个规则启用指标。然后,在存储桶 Metrics(指标)中,您可以选择要查看哪些规则的指标并查看每个指标的图表;这些指标也可在 CloudWatch 控制台中找到。

复制指标的屏幕截图

可用性
S3 复制(多目标)目前已在所有 AWS 区域提供。要开始使用,您可以使用 AWS 管理控制台开发工具包S3 APIAWS CloudFormation 创建从一个源存储桶到多个目标存储桶的复制规则。

S3 复制(多目标)的定价适用于每个规则。有关定价信息,请访问 Amazon S3 定价页面

有关这项新功能的更多信息,请访问 S3 复制页面

Marcia