PCMAN的技术博客 – 用看得懂的方式讲AWS！ – Page 8

优化S3存储成本：S3智能分层配合S3 Glacier即时检索获得成本节约

一、背景

S3 Glacier Instant Retrieval(S3 GIR)存储类型是2021年re-Invent新发布的存储类型，原有的异步方式取回数据的Glacier存储类型则改名为S3 Glacier Flexible Retrieval。新发布的S3 Glacier Instant Retrieval的存储费用与S3 Glacier Flexible Retrieval相近，在此基础上提供了立刻可取的性能，适合每年访问2-3次数据场景下的海量数据存储。

使用NICE DCV管理带有GPU的Ubuntu桌面

注：半年前写的，之前忘记发布，这次更新上来

一、背景

1、NICE DCV简介

NICE DCV是一个高性能的远程显示管理协议，允许用户安全的将云上远程桌面和应用以流式方式通过网络传输到客户端。在Amazon EC2上安装NICE DCV，客户可以运行支持GPU的图形应用程序或HPC程序，替代昂贵的图形工作站。NICE DCV流式传输协议也被用在多个服务，包括Amazon Appstream 2.0，AWS Nimble Studio，以及AWS RoboMaker。

NICE DCV可以使用单机模式从客户端直接连接到EC2；也可以使用NICE DCV Connection Gateway，NICE DCV Session Session Manager Broker和NICE DCV Session Manager Agent进行多机会话管理。本文描述使用NICE DCV直接连接到EC2单机模式部署。

使用Route53 Log Query记录VPC内的DNS请求

一、背景

Route53支持对特定VPC内发起的DNS请求进行记录，由此可以记录VPC内应用对外访问的请求信息。仅限域名，通过IP直接访问的不会记录。

本文介绍如何开启Route53的DNS日志，然后将其输出到CloudWatch的日志组的这样一个简单场景。在生产环境中，日志信息还可以输出到Kinesis或者OpenSearch，以便于各种分析。如果是低频分析，审计用途为主，也可以将日志输出到S3存储桶。

请注意：Query logging功能是记录日志的审计能力，不是实时阻断。如果您需要实施阻断，那么应该考虑Route53 DNS Firewall（2022年10月AWS中国区也上线了此功能），或者使用Network Firewall（简称NFW），或者使用网络流量深度检测的终极解决方案Gateway Load Balancer（简称GWLB）。因此基于以上的信息，可选择一个合适的方案。

本文以中国区为例进行配置，配置将默认VPC的日志输出到CloudWatch日志组。

EC2 Ubuntu操作系统（X86_64架构）装Mate桌面并使用VNC登录

一、背景

某些Linux应用可能需要安装GUI图形界面方可运行，这时候一般会要求Ubuntu 20.04 LTS版本（基于Intel处理器的X86_64架构），或者是22.04 LTS版本。此时，可以参考本文的方法安装。

EKS 101动手实验（十二）使用Karpenter+HPA实现EKS集群扩展

EKS 1.27版本 & Karpenter 0.29版本 @2023-07 AWS Global区域测试通过

EKS动手实验合集请参考这里。

注：本实验操作难度稍高，需要时间约2小时，请事先完成之前的所有基础实验，包括集群创建、管理、容器构建、NLB等主题后，再开始本实验。

一、背景

EKS的扩容有两种方式：

1、单个应用的Deployment的replica扩容，Pod数量增加，Node不变
2、Node节点的扩容，Node增加，Pod不变

实验十一、为NodeGroup使用EC2 Spot实例

EKS动手实验合集请参考这里。

EKS 1.27版本 @2023-07 AWS Global区域测试通过

一、规划使用Spot实例

1、使用Spot类型的优势

EC2 Spot是云端当前Region和AZ内闲置的计算资源对外低价提供短期用途的一种商务模式。成本测算如下：

采用Spot优化EC2价格的测算

Spot竞价实例是一种非常更有效的成本节约手段。

引用AWS官网：

竞价型实例是一种使用备用 EC2 容量的实例，以低于按需价格提供。由于竞价型实例允许您以极低的折扣请求未使用的 EC2 实例，这可能会显著降低您的 Amazon EC2 成本。竞价型实例的每小时价格称为 Spot 价格。每个可用区中的每种实例类型的 Spot 价格是由 Amazon EC2 设置的，并根据竞价型实例的长期供求趋势逐步调整。您的竞价型实例在容量可用时运行。

如果能灵活控制应用程序的运行时间并且应用程序可以中断，竞价型实例就是经济实惠之选。例如，竞价型实例非常适合数据分析、批处理作业、后台处理和可选的任务。
https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/using-spot-instances.html

下面简单进行测算。

在EC2内为自己的EBS磁盘扩容

在EC2内可为自己的EBS磁盘扩容，而不需要通过AWS Console网页界面控制台。前提是：

本机是Cloud9云端IDC开发环境，内置有关权限和role
本EC2已经安装AWSCLI并且配置了AKSK，且AKSK对应的IAM User是具有本Region EC2服务修改配置的权限
本EC2挂载了EC2 Profile对应了一个IAM Role，这个IAM Role具有操作EC2服务修改配置的权限

Aurora 5.6 升级不同数据量和机型所需要时间的测试

一、背景

Aurora MySQL 5.6在2023年2月28日End of life，因此需要升级到5.7或者8.0。参考AWS这篇官方文档对5.6结束生命周期的解释。

最简单的升级方式是：直接编辑数据库版本，选择新的版本，然后点击保存。此时数据库会修改版本并重启，升级期间无法接受外部访问。

为了合理申请停机窗口，本文模拟了一个有一定数据量的测试环境，评估升级所需要的时间。

从CloudFront获取客户端真实IP地址、并使用CloudFront内置的IP地址库获取访问者所在国家

本文更新于2024年3月。

一、背景

CloudFront CDN服务是七层代理服务，接受最终用户的客户端连接和访问，并终结客户端的网络访问通道。然后，CloudFront会通过互联网回源站获取要分发的内容。此时，在后端的源站是无法获知客户端的真实IP地址的，源站只能看到CloudFront的公网IP地址。这样对于源站应用而言，不能准确的判断来访者所在地区和国家，无法实行不同国家的运营策略。本文介绍在CloudFront背后的源站如何能获取客户端的真实IP地址、以及访问者所在国家。

使用Sysbench测试EC2云主机CPU的性能

一、Sysbench工具简介

测试云主机的CPU性能可使用常见的sysbench工具进行压力测试。Sysbench的CPU测试主要考察CPU的整数运算能力，通过计算一定范围内的素数，来评估CPU的计算能力。整数计算的场景适合对应到企业应用环境，不含视频转码、图像渲染等领域需要的浮点预算能力。此外，本测试也不使用复杂的benchmark套件测试内存、网络、磁盘等，只是测试CPU。Sysbench测试工具为软件包源直接安装，预先build好，不做build过程的调参数。

Glue配置Connection通过JDBC连接MySQL

本视频演示了预先配置一个RDS MySQL，然后使用Glue从S3存储桶读取数据，并通过Glue Connection以JDBC方式将数据接入RDS MySQL。

注：之前的视频，一直忘记发出来，可能Glue界面已经升级和演进，部分界面稍有不同。

使用CodeCommit服务

一、背景

CodeCommit是AWS推出的基于git的代码仓库服务，并可使用AWS IAM进行代码库的权限管理。本文以在宁夏区域创建代码库为例。

AWS RDS 和 Aurora PostgreSQL Benchmark 性能测试

一、背景

1、目标

在系统上线之前，对整个系统进行压力测试是必要的、周密的做法。整个系统业务处理能力（TPS）是结合了网络、应用架构、数据库等多种因素的一个衡量方式。其中，数据库性能对于整个业务系统处理能力是关键点之一。

为了充分验证数据库能力，建议在云上VPC内另外启动一台高配置的EC2作为负载发生器，并通过sysbench工具运行特定的sql脚本对数据库施压。由此可尽量隔绝应用层和网络层带来的额外影响因素。

使用S3 Access Point访问S3存储桶

一、背景

S3提供Access Point用于数据分享、访问授权，可用于对外隐藏真实的存储桶名称的同时实施权限控制。S3 Access Point有两种类型：从Internet互联网访问类型，以及仅能从特定VPC访问的类型。此外S3 Access Point也支持跨账户访问。

下面分别进行两种配置。

S	M	T	W	T	F	S
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28