Storage – Page 2 – PCMAN的技术博客 – 用看得懂的方式讲AWS！

使用Data Replication Hub从AWS Global S3区域向中国区S3复制数据

一、背景

Data Replication Hub是AWS的数据复制方案，可用于在云间复制，或者在AWS Global和中国区之间复制数据。本文以从海外复制到中国区为例。

其他使用场景，请参考官方文档。

使用VPC Endpoint之Gateway Endpoint和Interface Endpoint实现从VPC或IDC内网访问S3

2023年5月更新

一、背景

本文讲述了从内网访问S3的两种Endpoint配置方式，并对Interface Endpoint进行了访问压力测试。

开启FSR自动预热从EBS快照恢复过来的卷

一、背景

在AWS官网，有关从快照恢复后的预热描述如下。

空的 EBS 卷一经创建便能实现其最高性能，而不需要初始化（以前称为预热）。

对于从快照创建的卷，必须先从 Amazon S3 下载存储块并将其写入到卷中，然后才能访问这些块。该预备操作需要一些时间才能完成，并且可能会导致首次访问每个块时的 I/O 操作延迟大大提高。在下载所有块并将其写入到卷后，才会实现卷性能。

这也就意味着，如果是从快照恢复一个EC2，或者是从CloudEndure的快照恢复过来，初始的磁盘性能将不足。由此，需要执行预热才能充分发挥性能。

预热分成手工预热和自动预热。

Storage Gateway 手工激活和是配置全过程视频

注：2021年Storage Gateway产品特性更新，支持通过图形界面在内网激活，本视频部分内容可能已经不适用，因此请参考这篇。

视频有解说，注意音量。

手工激活在IDC内网的Storage Gateway

注：2021年Storage Gateway产品特性更新，支持通过图形界面在内网激活，本文部分内容可能已经不适用，因此请参考这篇。

一、背景

Storage Gateway是在IDC中提供云端存储服务的虚拟网关。Storage Gateway可以提供文件存储、块存储（IPSAN）和虚拟带库（VTL）三种协议。Storage Gateway部署在IDC内，对IDC内提供网络服务，对外需要从IDC所在的运行位置，发起网络到AWS云的对应区域的管理控制台和S3桶。

此外，在激活Storage Gateway时候，需要AWS控制台能够链接Storage Gateway所对应的虚拟机的暴露在外网的80端口，这个条件对于国内IDC来说较为苛刻：

1、是因为很多IDC上下行带宽不对等，没有太多公网IP可以用来暴露；
2、ICP备案的要求，未经备案就无法打开80端口。

因此，因此本文将描述在此场景下，无需暴露公网80端口，如何手工激活。

使用Storage Gateway文件网关为Windows提供服务

视频有解说，注意音量。

使用VPC Endpoint从私有子网访问S3

视频有解说，注意音量。

中国区S3终端节点和地址

一、终端节点

查找中国区的S3访问终端节点，请通过如下网址。

https://docs.amazonaws.cn/aws/latest/userguide/endpoints-arns.html

配置S3桶允许跨账户复制数据

在某些实验场景下，可能需要将1个S3桶内的实验素材分发给多个AWS账户。此时，打开Public访问允许互联网公开是不安全的。通过设置S3桶的ACL可以定向授权给特定用户允许访问。

S3 Presign URL调用上传附件

一、背景

S3 Presign URL是通过S3服务生成一个带签名的URL，这个URL包含了S3桶名、文件名（目录名）、所属账号、时间戳、有效期等信息。当在有效期内的时候，通过Post请求发送到这个URL，可以上传/下载。当有效期超过之后，访问此文件，会提示403没有权限。

使用Presign URL的好处是安全：

调用API接口时候，只暴露Access Key ID，而不暴露Secret Key，也就是不暴露API的密码。
Presign URL可设置过期时间，例如生成URL后限制60秒，那么上传操作必须在60秒内完成，60秒后之前生成的URL和时间戳过期。

使用AWS CLI在S3之间对拷数据的CLI版本和参数问题

一、问题

在两个S3上执行数据复制时候，遇到如下错误。

$ aws s3 cp s3://abc-bkt-zhy/data-origion/index_day.json s3://abc-mytarget/
copy failed: s3://abc-bkt-zhy/stock-data-origion/index_day.json to s3://abc-mytarget/index_day.json An error occurred (AccessDenied) when calling the GetObjectTagging operation: Access Denied

这是由于AWS CLI V1版本和V2版本的不同差异造成的。在命令行下自行如下命令显示CLI版本。

S3 Acceleration 上传加速测试

一、启用S3加速

S3 Accelerator目前仅在Global区域有效。

1、启用方法

进入S3存储桶，点击第二个标签页”属性“，点击高级设置中的”转移加速度“（英文是Tranfer acceleration），点击Enable启用。然后点击Save保存。

在EC2上使用S3FS以文件系统方式挂载S3

一、背景

在某些特殊场景下，例如测试、数据临时校验等，需要在EC2的虚拟机层面，通过操作系统以文件和目录形式对S3做读写，这时候可以使用第三方的S3文件系统工具，将S3挂载到某磁盘目录。

注意：本工具因为性能和可靠性原因，不建议用于生产，建议只用于测试。

AWS Backup Solution Introduction

AWS Backup是2019年推出的面向企业合规的备份服务，支持对EC2、RDS、EFS、DynamoDB、Storage Gateway服务的自动备份、备份规则管理、保存周期管理、异地备份管理等。AWS Backup 在2020年初已经在AWS中国北京区域和宁夏区域发布。

使用Rsync为Snowball迁移后的文件系统做增量复制

一、使用Snowball迁移后的文件增量需求

一个典型的NAS迁移场景是使用Snowball将原IDC的大量数据复制到Snowball上，然后通过Snowball交运到AWS云。数据在AWS区域内，会从Snowball中提取出来，保存到S3目标存储桶内。也就是说，Snowball的交付成果是一个S3存储桶。至此Snowball迁移的流程结束。

S	M	T	W	T	F	S
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31