学习是不变的主题，学习在2024，一起前进！
从官网下载：https://www.sql-workbench.eu/downloads.html
从本实验的镜像下载：https://lxy-sa-software.s3.cn-north-1.amazonaws.com.cn/Workbench-Build127-with-optional-libs.zip
注意，运行环境需要Java。
Continue reading “通过JDBC驱动/Python boto3 SDK调用Athena查询数据”在数据库RDS创建界面中，点击Addional额外设置之后可以展开日志设置，有四个选项，分别是：
Select the log types to publish to Amazon CloudWatch Logs：
这几个选项打开后，Cloudwatch会输出General log和Error log，可以看到失败的登录记录，但是无法看到Audit log，也就是无法看到每一条SQL查询、更新级别的日志。
这是由于，RDS日志需要额外打开选项。
Continue reading “为Aurora MySQL启用审计日志（Audit Log）”本文更新于2023年8月，新增了对于大量CloudTrail历史数据，需要实现创建分区键的说明。否则按照CloudTrail控制台推荐的默认的Athena建表语句进行查询，将是针对数个GB数据的全表扫描带来不必要的成本。按照本文新增章节，创建带有分区键的Athena表，即可显著降低查询成本。分区键推荐采用Region和日期的方式。
S3存储桶的文件读写日志包括Server Access Log和CloudTrail两种方式。二者之间的差别可参考如下网址：
https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/logging-with-S3.html
在官方上描述非常详细，可看到CloudTrail采集的信息更加丰富，因此本文将介绍使用CloudTrail做分析。如下截图。
Continue reading “使用CloudTrail和Athena分析S3访问日志”EKS动手实验合集请参考这里。
EKS 1.30 版本 @2024-07 AWS Global区域测试通过
前文的实验中，分别创建了两个Nodegroup，一个Nodegroup是使用X8664架构Intel处理器的t3.xlarge(或m5.xlarge/m6i.xlarge)机型，另一个Nodegroup是使用Graviton处理器的ARM机型t4g.xlarge或m6g.xlarge。由于ARM架构的容器景象和X8664架构的容器镜像并不通用，因此本文会重新构建一个ARM版本的image，并上传到ECR镜像仓库中，再部署到节点组。
注意，如果您希望将一个应用同时运行在两种架构的节点上，则需要对同一个应用作两种架构的编译和构建。可参考本文配置。
Continue reading “EKS 101 动手实验（四）在ARM架构上构建应用并使用ALB Ingress部署应用”EKS动手实验合集请参考这里。
2023年11月之后发布的新版CloudWatch Container Insight支持对EKS的EC2节点采集多种运行参数用于监控和诊断，建议在2023年11月之前安装的旧版本升级到新版本。升级方法见本文末尾的参考文档。
以往的CloudWatch Container Insight部署需要手工拉起FluentBit的部署和服务，如今可通过EKS Addon功能直接安装，大大简化了部署。本文将讲解EKS Addon方式安装。如果需要参考以前的FluentBit部署方式，请见本文末尾的参考文档。
Continue reading “EKS 101 动手实验（三）启用CloudWatch Container Insight、新建Nodegroup节点组以及调整节点组机型配置”EKS动手实验合集请参考这里。
EKS 1.30 版本 @2024-07 AWS Global区域测试通过
执行如下命令。请注意替换集群名称和区域为实际操作的环境。
eksctl utils associate-iam-oidc-provider --region ap-southeast-1 --cluster eksworkshop --approveEKS动手实验合集请参考这里。
EKS 1.30 版本 @2024-07 AWS Global区域测试通过
本步骤对所有操作系统下都需要安装。请到这里下载对应的操作系统的安装包。
Continue reading “EKS 101 动手实验（一）创建EKS集群”本文更新于2023年8月，更新了EC2创建向导中选择IAM Role选项位置的截图为2023年新UI截图。目前AWS海外区和中国区的EC2创建向导界面均为本版本界面。
本文针对Amazon Linux、Redhat Enterprise Linux、Ubuntu等已经内置了SSM Agent的AMI镜像，对于Debian等没有预装SSM Agent的AMI，可参考本文对Debian进行配置。
Session Manager是System Manager（以下简称SSM）里边的管理套件其中的一个组件。它是一项Region级别的区域性服务。使用Session Manager在特定系统上可以快速免密钥登录EC2。
Continue reading “使用Session Manager登录EC2”前提条件：
Python脚本如下：
import boto3.ec2
client = boto3.client('ec2')
ec2action = boto3.resource('ec2')
response = client.describe_instance_status(
IncludeAllInstances=True
)
for i in response['InstanceStatuses']:
instance = ec2action.Instance(i['InstanceId'])
response1 = instance.stop(
#DryRun=True,
Force=True
)
print("instance: ", i['InstanceId'], "is being stopped." )
print(response1)以上为关机脚本。如果需要批量开机，替换stop为start即可。
Athena在2021年5月正式升级到V2引擎（含中国区），新增特性之一是通过联合查询 Federated Query 特性从RDS、DynamoDB等AWS服务中检索数据。本文描述如何使用配置并启用联合查询。
Continue reading “使用Athena V2引擎的联合查询Federated Query从RDS中检索数据”Glue在做ETL转换时候，因为数据源文件的格式和字段问题，可能无法正确的分区，因此会导致一个一个大文件被转换为若干个小文件，存在一个目录下。如下截图。
Continue reading “Glue ETL 生成单一文件”Gateway Load Balancer（以下简称GWLB）于2020年Re-Invent上被宣布并在2021年3月发布。
Continue reading “使用Gateway Load Balancer实现集中的网络流量深度检测”Rekognition服务目前在AWS海外区域可用，在中国区暂时不可用。
Rekognition的原理是：
视频有讲解，注意调整音量。
Continue reading “Gateway Load Balancer Demo”本文描述了如何使用Server Side Encryption – KMS方式对S3存储桶的文件加密，并测试解密和访问。
Continue reading “使用KMS对S3存储桶进行加密”