学习是不变的主题，学习在2024，一起前进！
AWSCLI, API, Cloudwatch, and etc.
VPC Flowlog是用于采集VPC内四层网络流量的工具。其采集对象包括EC2、NLB、RDS等之间和外部网络之间的流量。VPC Flowlog是OSI模型第四层采集工具，会记录源地址、源端口、目标地址、目标端口、协议、传输数据量等信息，但不会记录OSI模型第七层定义的域名、网址等属于应用层定义的日志，也不会记录发送的数据本体。VPC Flowlog常用于排查EC2相关网络错误。
本文介绍如何开启VPC Flowlog并输出到CloudWatch用于查看VPC内流量。
Continue reading “生成VPC Flowlog并输出到CloudWatch用于分析VPC流量”本文2023年9月测试通过
之前整理过有关文档，因为AWS Console控制台UI界面更新、AMI操作系统更新、CloudWatch Agent下载地址更新等原因，之前的配置文档可能无法工作。这次重新做了较大篇幅的调整，请参考如下：
创建一个IAM Role，绑定2个IAM Policy，分别选中AWS managed Policy即系统内置的AmazonSSMManagedInstanceCore用于Session Manager，然后选择CloudWatch上传日志的Policy叫做CloudWatchAgentAdminPolicy。
将这个IAM Role绑定到EC2上。绑定后需要一段时间才可以生效。如果不想等待这段时间，可以重启EC2则立刻生效。如果您不掌握如何创建EC2使用的IAM Role，当前EC2也没有使用IAM Role，那么请参考本篇创建IAM Role并绑定到EC2。
Continue reading “Amazon Linux 2023 快速部署 CloudWatch Agent 监控内存和文件系统使用率脚本”对象式存储S3是用于存储海量文件的，当文件达到百万、千万、上亿的时候，S3可正常响应查询、写入的请求，而普通OS上的文件系统在这个数量级必须引入目录散列，并且伴随着性能下降，且如果是虚拟机本地盘还可能出现inodes使用满的情况。这种场景下，S3对象存储针对海量文件是非常友好的。因此使用S3是很有必要的。
S3也有不方便的地方，例如统计文件大小。传统的文件系统方式是做遍历后求和。那么S3上数百万个文件做一次遍历，开销极其巨大，而且产生了巨大的读取费用（List也算读取，参考S3收费文档）。由此，S3有个功能是S3 Inventory，即每天一次生成文件清单，并可通过Athena做进一步查询文件名称和大小。此外，还可以通过S3 Storage Lens查看各存储桶的总数据量和类型。
Continue reading “使用Python Boto3从CloudWatch获取S3存储桶大小的Metric值”关于S3 Storage Lens功能介绍如下。
Continue reading “Python boto3 API调用Storage Lens配置”在API Gateway上，新配置好的一个接口，打开日志功能后，发现并未生效，日志没有输出到CloudWatch的Log Groups中。现象如下。
Continue reading “将API Gateway的Rest接口日志输出到CloudWatch Log Groups”本文更新于2023年9月，中国区测试通过
为了实现Windows的内存监控、文件系统使用率监控等，需要部署CloudWatch Agent。
在创建EC2时候，这个工作可以通过Userdata脚本自动部署。如果EC2 Windows创建时候没有使用Userdata，那么也可以通过Powershell执行命令完成自动安装。
此外，为了方便安装软件，本文的脚本也将部署choco包管理工具。
Continue reading “借助Userdata为EC2 Windows上部署Cloudwatch Agent并配置基础监控”本文介绍了如何在AWS中国区，将CloudWatch日志组导出到S3。
在默认情况下，在CloudWatch上将Lambda、DMS等多种服务的日志组导出到S3时候会提示没有权限。当查看AWS文档时进行配置时，有关文档以Global区域为例进行编写，需要调整IAM Policy适应中国区域才能完成配置。
Continue reading “导出CloudWatch日志组到S3”AWS对EC2的监控通过Cloudwatch在虚拟化层完成，也就是KVM的Hypervisor层完成。这一层，只能看到CPU占用率、磁盘IO、网络流入流出等数据，不能看到虚拟机Guest OS层面的数据。例如看不到内存使用率，看不到C盘使用率，系统进程数等。为了打开系统级监控，需要安装Cloudwatch的agent。如下图为监控效果。
