在某些实验场景下，可能需要将1个S3桶内的实验素材分发给多个AWS账户。此时，打开Public访问允许互联网公开是不安全的。通过设置S3桶的ACL可以定向授权给特定用户允许访问。
Continue reading “配置S3桶允许跨账户复制数据”Author: pcman
创建MongoDB集群并导入测试数据
1、背景
AWS提供与MongoDB 3.6版本兼容的DocumentDB服务，但是并未在中国区提供。因此，为了快速建立MongoDB集群，可以使用AWS Solution提供的Cloudformation模版自动创建。
Continue reading “创建MongoDB集群并导入测试数据”S3 Presign URL调用上传附件
一、背景
S3 Presign URL是通过S3服务生成一个带签名的URL，这个URL包含了S3桶名、文件名（目录名）、所属账号、时间戳、有效期等信息。当在有效期内的时候，通过Post请求发送到这个URL，可以上传/下载。当有效期超过之后，访问此文件，会提示403没有权限。
使用Presign URL的好处是安全：
- 调用API接口时候，只暴露Access Key ID，而不暴露Secret Key，也就是不暴露API的密码。
- Presign URL可设置过期时间，例如生成URL后限制60秒，那么上传操作必须在60秒内完成，60秒后之前生成的URL和时间戳过期。
通过 AD Connector 配置EC2自动加域 —— Seamless Join Domain
注：本文针对在IDC自建AD活动目录的场景。如果您使用的是AWS托管的Directory Service，则可以跳过本文第三章节，即可直接在第四章节的界面中看到托管的目录。
一、背景
EC2 Windows有两种加入域：手工加入，自动加入。手工加入域的方式就和一个普通电脑一样，先修改DNS为域控制器的DNS IP，然后在系统属性部分，将单机切换到域，重启即可完成加域。自动加域是通过AWS云端的AD Connector，将所有新开的EC2自动加入域，而无须人工操作，也被称为Seamless Join Domain。两种模式的主要对比如下图。
使用 AWS Transfer 搭建托管的SFTP服务
一、简介
来自AWS官网的简介：
AWS Transfer 系列提供完全托管支持，可将文件直接传入和传出 Amazon S3。 AWS Transfer 系列使用安全文件传输协议 (SFTP)、SSL 的文件传输协议 (FTPS) 和文件传输协议 (FTP)，可通过集成现有身份验证系统并提供与 Amazon Route 53 的 DNS 路由，帮助您将文件传输工作流程无缝迁移到 AWS，而对于客户和合作伙伴及其应用而言则没有任何变化。通过 Amazon S3 中的数据，您可以配合 AWS 服务完成数据处理、分析、机器学习和存档。AWS Transfer 系列部署非常简单，无需购买和设置任何基础设施。
Continue reading “使用 AWS Transfer 搭建托管的SFTP服务”使用AWS CLI在S3之间对拷数据的CLI版本和参数问题
一、问题
在两个S3上执行数据复制时候，遇到如下错误。
$ aws s3 cp s3://abc-bkt-zhy/data-origion/index_day.json s3://abc-mytarget/
copy failed: s3://abc-bkt-zhy/stock-data-origion/index_day.json to s3://abc-mytarget/index_day.json An error occurred (AccessDenied) when calling the GetObjectTagging operation: Access Denied这是由于AWS CLI V1版本和V2版本的不同差异造成的。在命令行下自行如下命令显示CLI版本。
Continue reading “使用AWS CLI在S3之间对拷数据的CLI版本和参数问题”MacOS卸载Zoom留下的Audio设备
在使用Zoom开会过后，其他音频软件的输入源中可能会留下Zoom的输入设备。这时候可以通过如下命令清除：
sudo kextunload -b zoom.us.ZoomAudioDevice
sudo rm /System/Library/Extensions/ZoomAudioDevice.kext
重启后生效。
AWS ElasticCache – Redis 101 动手实验
一、 Redis 几种模式和选择建议
1、Cluster Mode Disable 模式 – 单节点
在创建Redis的第一个选项就是是否选择 “Cluster Mode enabled”。如果不选中，这表示 Disable 。这时候，Redis的数据不能处理分片，Redis只能是主备集群。
Continue reading “AWS ElasticCache – Redis 101 动手实验”Dedicated Hosts & Instance Type 规格匹配关系
EC2 Dedicated Hosts 独立主机是具有特定Instance Type匹配关系的，请看视频。
S3 Acceleration 上传加速测试
一、启用S3加速
S3 Accelerator目前仅在Global区域有效。
1、启用方法
进入S3存储桶，点击第二个标签页”属性“，点击高级设置中的”转移加速度“（英文是Tranfer acceleration），点击Enable启用。然后点击Save保存。
Continue reading “S3 Acceleration 上传加速测试”阿里云 OSS 迁移到 AWS S3
注意：本文最初编写于2020年9月。至2023年初，本文所介绍的S3-resumable-upload工具已经不再维护（参考本文末尾Github上介绍），最新的代码和功能被合并到Data Transfer Hub。新的Data Transfer Hub是带有GUI图形界面的S3迁移工具，支持阿里云等多个公有云的对象存储服务，可一键生成复制任务，背后通过ECS容器服务进行多线程复制，且支持增量复制。详情请跳转到Data Transfer Hub的官网。本工具本身免费，复制时候需要的资源如另外拉起ECS容器按云标准收费。
一、迁移工具
Amazon-s3-resumable-upload 是 AWS S3 的迁移工具，有单机版、集群版、无服务器Serverless（Lambda）版本，可以用于本地到S3上云，国内外S3互传等场景。其中如果源站是阿里云，则暂时只有单机版本支持。
部署迁移工具需要在AWS云上创建一个EC2，使用Amazon Linux 2操作系统，并安装Python3和相关依赖库。
Continue reading “阿里云 OSS 迁移到 AWS S3”JDBC连接MySQL报告Zero data value prohibited的解决
在SQL Workbench J使用JDBC连接MySQL时候，遇到错误：
Zero data value prohibited即无法查询特定的表；查询其他表OK。遇到错误的表改成在MySQL命令行下查询正常。
Continue reading “JDBC连接MySQL报告Zero data value prohibited的解决”使用AWS CLI Profile时候遇到 报告”Key不存在” 的解决办法
1、故障现象
在AWS CLI下，执行aws s3 ls命令的时候，报告如下错误。
An error occurred (InvalidAccessKeyId) when calling the ListBuckets operation: The AWS Access Key Id you provided does not exist in our records.经过测试，执行其他CLI命令也会遇到相同的错误。
Continue reading “使用AWS CLI Profile时候遇到 报告”Key不存在” 的解决办法”