构建Graviton2处理器的Amazon Linux 2平台的openswan 3.0软件包

一、背景

Openswan是用于构建site-to-site VPN服务的开源软件。Openswan历史较长，在主流Linux发行版上一般没有软件安装源，无法通过yum install一步执行安装。由此需要手工编译源代码，比较麻烦。

作为替代方案，可使用libreswan，这是一个从openswan 2.6版本fork出来的分支，在Amazon Linux 2（等同CentOS7）系统上有软件源，可以使用yum install libreswan安装。

However，libreswan的配置和参数与openswan有细微差别，例如不支持auth=esp等参数。由此，在与AWS托管的VPN网关对接时候，生成的配置文件还需要再做人工调整，以消除openswan和libreswan的配置差异。

由此本文将构建一个基于Graviton2处理器的Amazon Linux 2平台的openswan 3.0软件包，可用于在新的EC2上快速安装部署而无需从源代码编译。

Continue reading “构建Graviton2处理器的Amazon Linux 2平台的openswan 3.0软件包”

在CLI和CloudFormation中使用最新AMI

本文更新于2023年8月，加入了Amazon Linux 2023的查询方法

一、背景

在CloudFormation中，如果采用hardcode方式嵌入了当前的AMI ID，那么在未来一段时间AMI版本升级后，旧的版本就会过期，导致新创建的环境都必须再次运行yum update进行版本升级。同时，当AMI版本达到一定时间后，因为版本较旧存在安全隐患，可能会下架无法调用，这时候CloudFormation就失效了不能在运行。由此，需要一个在CloudFormation中能使用调用到最新AMI的办法。

本文将分别介绍在AWS CLI下调用最新AMI ID和在CloudFormation中调用System Manager查询的方法。

Continue reading “在CLI和CloudFormation中使用最新AMI”

在使用Windows Server 2019 (1809)的EC2上安装WSL运行Ubuntu Linux

一、背景

在Windows 10上可以使用WSL和新的Terminal直接运行Linux，同时，还可以通过Windows Store在线商店安装需要的Linux发行版。但在Windows Server上，没有在线商店可用。因此，安装方法可以参考如下。

首先检查确认版本高于 Windows Server 2019 (version 1709) 版本。例如EC2上选择Windows Server 2019的话版本是1809版本，可运行WSL 1。如果系统版本是1903或者更高可运行WSL2。

Continue reading “在使用Windows Server 2019 (1809)的EC2上安装WSL运行Ubuntu Linux”

使用IAM创建日常Admin账户并设置留底账户

一、背景

当系统规模不大时候，通常一个AWS Account（账户ID是12位数字）只有几个高权限管理员负责云平台运维，此时可能大家共享同一个登录用户名，由此带来审计不便，且存在安全风险。

由此，可考虑将根账户（root账户）或者一个最高权限的IAM用户作为留底账户保护起来，并额外创建几个新的管理员账号下发给团队。同时，新创建的管理员账号对留底账号和其他管理员账号没有修改权限，以避免各自串通和干扰，确保各自的独立性。

Continue reading “使用IAM创建日常Admin账户并设置留底账户”

为Aurora MySQL启用审计日志（Audit Log）

一、背景

在数据库RDS创建界面中，点击Addional额外设置之后可以展开日志设置，有四个选项，分别是：

Select the log types to publish to Amazon CloudWatch Logs：

  • Audit log
  • Error log
  • General log
  • Slow query log

这几个选项打开后，Cloudwatch会输出General log和Error log，可以看到失败的登录记录，但是无法看到Audit log，也就是无法看到每一条SQL查询、更新级别的日志。

这是由于，RDS日志需要额外打开选项。

Continue reading “为Aurora MySQL启用审计日志（Audit Log）”

使用CloudTrail和Athena分析S3访问日志

本文更新于2023年8月，新增了对于大量CloudTrail历史数据，需要实现创建分区键的说明。否则按照CloudTrail控制台推荐的默认的Athena建表语句进行查询，将是针对数个GB数据的全表扫描带来不必要的成本。按照本文新增章节，创建带有分区键的Athena表，即可显著降低查询成本。分区键推荐采用Region和日期的方式。

一、背景

S3存储桶的文件读写日志包括Server Access Log和CloudTrail两种方式。二者之间的差别可参考如下网址：

https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/logging-with-S3.html

在官方上描述非常详细，可看到CloudTrail采集的信息更加丰富，因此本文将介绍使用CloudTrail做分析。如下截图。

Continue reading “使用CloudTrail和Athena分析S3访问日志”

EKS 101 动手实验（四）在ARM架构上构建应用并使用ALB Ingress部署应用

EKS动手实验合集请参考这里。

EKS 1.30 版本 @2024-07 AWS Global区域测试通过

一、关于多架构支持

前文的实验中，分别创建了两个Nodegroup，一个Nodegroup是使用X8664架构Intel处理器的t3.xlarge(或m5.xlarge/m6i.xlarge)机型，另一个Nodegroup是使用Graviton处理器的ARM机型t4g.xlarge或m6g.xlarge。由于ARM架构的容器景象和X8664架构的容器镜像并不通用，因此本文会重新构建一个ARM版本的image，并上传到ECR镜像仓库中，再部署到节点组。

注意，如果您希望将一个应用同时运行在两种架构的节点上，则需要对同一个应用作两种架构的编译和构建。可参考本文配置。

Continue reading “EKS 101 动手实验（四）在ARM架构上构建应用并使用ALB Ingress部署应用”

EKS 101 动手实验（三）启用CloudWatch Container Insight、新建Nodegroup节点组以及调整节点组机型配置

EKS动手实验合集请参考这里。

一、启用CloudWatch Container Insight

2023年11月之后发布的新版CloudWatch Container Insight支持对EKS的EC2节点采集多种运行参数用于监控和诊断，建议在2023年11月之前安装的旧版本升级到新版本。升级方法见本文末尾的参考文档。

以往的CloudWatch Container Insight部署需要手工拉起FluentBit的部署和服务，如今可通过EKS Addon功能直接安装，大大简化了部署。本文将讲解EKS Addon方式安装。如果需要参考以前的FluentBit部署方式，请见本文末尾的参考文档。

Continue reading “EKS 101 动手实验（三）启用CloudWatch Container Insight、新建Nodegroup节点组以及调整节点组机型配置”

EKS 101 动手实验（二）部署AWS Load Balancer Controller

EKS动手实验合集请参考这里。

EKS 1.30 版本 @2024-07 AWS Global区域测试通过

一、部署AWS Load Balancer Controller

1、为EKS生成IAM的OIDC授权

执行如下命令。请注意替换集群名称和区域为实际操作的环境。

eksctl utils associate-iam-oidc-provider --region ap-southeast-1 --cluster eksworkshop --approve
Continue reading “EKS 101 动手实验（二）部署AWS Load Balancer Controller”