一、背景
当DMS配置为Full Load + CDC（又名Ongoing replication）或者配置为CDC Only后，在传输过程中，可能因为网络等原因中断，包括主动断网、被动断网等。这时候需要重新启动任务继续传输。那么此时DMS能否实现“断点续传”，也就是从停止下来的地方继续开始、而不会触发全表复制？
答案是可以的，本文档模拟环境如下。
Continue reading “DMS停止服务后Resume续传的测试”安全改进解读：S3将阻止Public公开访问和禁用文件ACL两项功能作为新创建存储桶时候的默认设置
摘要：本文介绍了2023年以来S3将阻止Public公开访问和禁用文件ACL两项功能作为新创建存储桶时候的默认设置这一变化由此带来的安全方面的改进。同时，介绍了在此场景下如何配置存储桶公开对外发布数据。
一、背景
在S3控制台上，可以看到如下信息：
The S3 Block Public Access and S3 Object Ownership features provide settings to manage public access and object ownership for your Amazon S3 resources. All Block Public Access settings are enabled by default, and all new buckets, access points, and objects do not allow public access. By default, Object Ownership is set to bucket owner enforced, which disables the use of access control lists (ACLs).
These default settings have been in place in the S3 console since 2018 and 2021, respectively, and are recommended security best practices. Since April 2023, these default settings apply to all new buckets, regardless of how they are created. If you require public access, you can edit the Block Public Access settings, and grant access by using bucket policies. Unless you need to control access for each object individually, using ACLs to grant access isn't recommended. For more information, see Access control best practices.以上两项功能，分别推出与2018年和2021年，之前是可选配置，目前成为了新建存储桶Bucket时候的默认配置。本文对这两个功能的使用进行介绍。
Continue reading “安全改进解读：S3将阻止Public公开访问和禁用文件ACL两项功能作为新创建存储桶时候的默认设置”启用S3 Storage Lens高级指标查看存储桶访问次数
一、背景
1、查看所有存储桶的请求次数
查看S3文件的请求总数的方法之一是可以通过查看本账户的费用账单。在一份完整的账单中，可以看到如下的详细条目：
Continue reading “启用S3 Storage Lens高级指标查看存储桶访问次数”通过Userdata在创建EC2时候修改Hostname主机名
一、背景
Userdata脚本可以在创建EC2时候执行初始化配置。通过AWS Console网页控制台创建EC2时候，可以直接填写在页面上。如果是通过API创建EC2，使用封装的SDK调用，那么应该如何传递参数呢？请看本文例子。
Continue reading “通过Userdata在创建EC2时候修改Hostname主机名”复制ECR上的镜像并指定新的Tag标签
一、背景
ECR上的镜像仓库有个选项叫做Tag immutability，可以要求指定唯一的标签，以避免版本冲突。有时候需要对当前镜像新生成一个新的标签做测试，且生成新的标签的过程不希望下载、构建、打包、上传等过程，只是希望复制一份，重新生成一个标签。此时可以用本文的方法操作。
使用Session Manager Plugin插件在开发者本机创建本地转发功能用于登录位于私有子网的EC2 Windows RDP远程桌面
摘要：本文介绍了如何不需要将EC2 Windows的3389端口暴露在互联网上，而是通过System Manager转发3389端口到开发者本机的方法。EC2 Windows可以一直位于内网，其安全组也无须放行任何端口，即可实现安全管理。
Continue reading “使用Session Manager Plugin插件在开发者本机创建本地转发功能用于登录位于私有子网的EC2 Windows RDP远程桌面”创建低成本的工作在VPC内网的OpenSearch单节点并配置用户名密码身份验证
摘要：本文介绍如何快速创建一个低成本的、工作在VPC内网的OpenSearch单节点集群，并允许Master用户密码身份验证，然后测试上传文档和搜索，并分别在VPC内网的EC2 Windows和开发者本机用Session Manager转发方式访问Kibana。
Continue reading “创建低成本的工作在VPC内网的OpenSearch单节点并配置用户名密码身份验证”测试新加坡区域ap-southeast-1的AZ间延迟
一、背景
某些应用如SAP HANA System Replication（HSR）等，需要两个EC2分别运行在不同AZ，并且要求低于1ms的网络延迟。那么如何在AZ之间测试呢？
Continue reading “测试新加坡区域ap-southeast-1的AZ间延迟”使用Aurora Babelfish的Single-DB和Multi-DB模式在T-SQL和PostgreSQL之间共享数据
本文在AWS宁夏区Aurora PostgreSQL 15.3版本上测试通过。
一、背景
1、关于Babelfish
Aurora Babelfish通过Babelfish在TCP 1433端口上提供了对T-SQL（即SQL Server）的兼容。Aurora Babelfish的底层实现是PostgreSQL，工作在TCP协议5432端口，使用PL/pgSQL。因此，可以实现数据通过某一个接口写入，然后即可被任意接口读取的场景。
本文将演示Aurora Babelfish工作在Single-DB和Multi-DB两种配置下，如何在T-SQL和PL/pgSQL之间共享数据。
Continue reading “使用Aurora Babelfish的Single-DB和Multi-DB模式在T-SQL和PostgreSQL之间共享数据”部署你的第一个边缘函数 Lambda@Edge并查看运行日志
更新于2024年1月，创建的函数可使用Nodejs 16/18运行
一、背景
AWS的CDN服务CloudFront在Edge端（边缘侧）具有一定的算力，可运行简单程序满足应用交互需要，这些场景包括：
- 身份验证
- 无须连接源站（ALB/EC2/S3）的情况下进行业务逻辑运算给源站卸载（Offload）压力
- 按访问者的环境（如浏览器）、或访问设备等信息定制输出结果
- 为静态源站（S3）增加处理能力
- 防爬虫等应用层防护（可与ALB/WAF搭配防护）
实现这些场景，可通过Edge的边缘侧算力实现。具体实现又有两个产品：Lambda@Edge和CloudFront Function。
Continue reading “部署你的第一个边缘函数 Lambda@Edge并查看运行日志”Amazon Linux 2023 快速部署 CloudWatch Agent 监控内存和文件系统使用率脚本
一、配置本机使用的IAM Role
创建一个IAM Role，绑定2个IAM Policy，分别选中AWS managed Policy即系统内置的AmazonSSMManagedInstanceCore用于Session Manager，然后选择CloudWatch上传日志的Policy叫做CloudWatchAgentAdminPolicy。
将这个IAM Role绑定到EC2上。绑定后需要一段时间才可以生效。如果不想等待这段时间，可以重启EC2则立刻生效。如果您不掌握如何创建EC2使用的IAM Role，当前EC2也没有使用IAM Role，那么请参考本篇创建IAM Role并绑定到EC2。
Continue reading “Amazon Linux 2023 快速部署 CloudWatch Agent 监控内存和文件系统使用率脚本”使用AWS SDK构建一个C++语言访问S3的演示应用
一、背景
本文演示了使用AWS SDK构建一个C++语言的测试应用，应用程序执行listBucket的操作列出存储桶目录。（前提是AKSK对应的用户有权限）
2023年7月确认的AMD处理器系列
截止2023年11月re-Invent 2023，新的7系列EC2已经发布，第四代EPYC处理器已经发布，因此本文介绍的内容不再是最新版本。关于7系列，请参考这篇博客。
云上EC2使用AMD处理器的哪一种机型？调查结果请参考如下。
Continue reading “2023年7月确认的AMD处理器系列”在EC2 Debian操作系统上安装Agent并使用EC2 Connect功能
注：截止2023年7月，EC2 Instance Connect功能只在海外区域可用，Session Manager在海外区和中国区都可用。
一、背景
Debian是常用主流Linux系统之一，Ubuntu就是源自Debian体系发展出来的。Debian在云端使用频度不如CentOS/Ubuntu广泛。在AWS云上提供的EC2 AMI中，可在创建EC2向导界面直接选择Debian 11。
不过，这个Debian 11的AMI镜像虽然是AWS官方维护的，但是其自身没有集成System Manager Agent，也没有集成EC2 Instance Connect插件。因此，在EC2控制台上，点击Connect按钮，无论选择EC2 Instance Connect还是选择Session Manager，都会提示无法连接，如下截图。
Continue reading “在EC2 Debian操作系统上安装Agent并使用EC2 Connect功能”使用Athena分析在S3上的WAF Log
一、背景
在使用WAF保护业务系统的过程中，经常需要查询历史日志，分析特定防护对象的防护效果，查看拦截的请求，或查看访问特定URL的防护效果。这时候就需要用到WAF日志功能。
AWS WAF支持将日志输出到CloudWatch Log Groups，Kinesis，以及S3。将日志输出到CloudWatch Log Groups使用方便，但是存储成本高；将日志输出到Kinesis后可连接多种投递方式，灵活且延迟低，但技术架构稍微复杂。将WAF日志存储到S3数据湖，可实现最低低成本储存日志，通过Athena可快速方便查询。
Continue reading “使用Athena分析在S3上的WAF Log”