创建并连接MSK服务

一、背景

Amazon Managed Streaming for Apache Kafka 是AWS推出的托管Kafka服务。主要优势体现在：

  • Amazon MSK 使您可以专注于创建流应用程序，而无需担心管理 Apache Kafka 环境的运营开销。Amazon MSK 为您管理 Apache Kafka 集群和 Apache ZooKeeper 节点的预置、配置及维护。Amazon MSK 还在 AWS 控制台中显示关键的 Apache Kafka 性能指标。
  • Amazon MSK 创建 Apache Kafka 集群，并在一个 AWS 区域内提供多可用区复制。Amazon MSK 持续监控集群的运行状况，并自动替换发生故障的组件。
  • Amazon MSK 可为您的 Apache Kafka 集群提供多级安全性，包括 VPC 网络隔离、使用 AWS IAM 进行控制层面 API 授权、静态加密、传输中 TLS 加密。
Continue reading “创建并连接MSK服务”

使用为ECS Fargate使用Spot实例

一、背景

ECS Fargate极大的简化了集群的管理，通过提供无服务器方式的容器，用户可专心关注在应用本身，而无需花费过多时间精力去管理容器运行所在的EC2。使用Fargate虽然简化运维但成本相对EC2的手工管理方式成本较高，因此针对互联网方式的无状态应用，可使用Spot实例来大幅降低成本。如果应用程序本身是传统的有状态方式，或者需要维护长链接的额，那么还应该继续使用普通Fargate方式而不是Spot实例。

此外，ECS Fargate Spot模式不支持与CodeDeploy集成，因此不能直接使用CodeDeploy做蓝绿发布，由此需要用户自行管理发布流水线来发布多版本，并自行做调度和切换。因此如果是计划直接采用CodeDeploy，那么Fargate Spot也是不适用的。

下面开始实验。

Continue reading “使用为ECS Fargate使用Spot实例”

AWSCLI V1升级到V2方法

AWS CLI V2版本已经正式成为了稳定版本，有些特别的调用需要V2版本才可以支持，V1版本无法运行。当在一个Amazon Linux 2操作系统上，输入 aws 命令并回车之后，系统提示如下信息，则表示这是1.x版本，可以升级到2.x版本。

Note: AWS CLI version 2, the latest major version of the AWS CLI, is now stable and recommended for general use. For more information, see the AWS CLI version 2 installation instructions at: https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2.html

执行 aws –version 命令可以查看当前版本。这表示当前的版本是1.18版本，需要升级到V2。

[ec2-user@ip-172-31-200-161 ~]$ aws --version
aws-cli/1.18.147 Python/2.7.18 Linux/4.14.214-160.339.amzn2.x86_64 botocore/1.18.6
[ec2-user@ip-172-31-200-161 ~]$

升级过程如下。

Continue reading “AWSCLI V1升级到V2方法”

ECS 201 Workshop（四）通过CodeDeploy实现蓝绿发布

ECS是AWS自行研发的容器管理平台，相对于流行的K8S架构，ECS更加简单易用，学习门槛相对很低。此外，Fargate无服务器技术的支持，将ECS完全从管理底层架构中解放出来，用户不需要再去关心Node节点的EC2配置，而是只在乎启动的任务，非常便于高效、快速的将既有容器投入使用。

ECS 201 Workshop分成：

共四个部分。此外，在ECS实验之前，还有一个基础篇是如何Build容器镜像，请参考这里。

下面开始第四篇。演示视频如下：

Continue reading “ECS 201 Workshop（四）通过CodeDeploy实现蓝绿发布”

ECS 201 Workshop（三）弹性扩展


ECS是AWS自行研发的容器管理平台，相对于流行的K8S架构，ECS更加简单易用，学习门槛相对很低。此外，Fargate无服务器技术的支持，将ECS完全从管理底层架构中解放出来，用户不需要再去关心Node节点的EC2配置，而是只在乎启动的任务，非常便于高效、快速的将既有容器投入使用。

ECS 201 Workshop分成：

共四个部分。此外，在ECS实验之前，还有一个基础篇是如何Build容器镜像，请参考这里。

下面开始第三篇。

Continue reading “ECS 201 Workshop（三）弹性扩展”

ECS 201 Workshop（二）发布ECS服务


ECS是AWS自行研发的容器管理平台，相对于流行的K8S架构，ECS更加简单易用，学习门槛相对很低。此外，Fargate无服务器技术的支持，将ECS完全从管理底层架构中解放出来，用户不需要再去关心Node节点的EC2配置，而是只在乎启动的任务，非常便于高效、快速的将既有容器投入使用。

ECS 201 Workshop分成：

共四个部分。此外，在ECS实验之前，还有一个基础篇是如何Build容器镜像，请参考这里。

下面开始第二篇。

Continue reading “ECS 201 Workshop（二）发布ECS服务”

ECS 201 Workshop（一）准备工作：配置IAM和任务定义

ECS是AWS自行研发的容器管理平台，相对于流行的K8S架构，ECS更加简单易用，学习门槛相对很低。此外，Fargate无服务器技术的支持，将ECS完全从管理底层架构中解放出来，用户不需要再去关心Node节点的EC2配置，而是只在乎启动的任务，非常便于高效、快速的将既有容器投入使用。

ECS 201 Workshop分成：

共四个部分。此外，在ECS实验之前，还有一个基础篇是如何Build容器镜像，请参考这里。

下面开始第一篇。

Continue reading “ECS 201 Workshop（一）准备工作：配置IAM和任务定义”

开启FSR自动预热从EBS快照恢复过来的卷

一、背景

在AWS官网，有关从快照恢复后的预热描述如下。

空的 EBS 卷一经创建便能实现其最高性能，而不需要初始化（以前称为预热）。

对于从快照创建的卷，必须先从 Amazon S3 下载存储块并将其写入到卷中，然后才能访问这些块。该预备操作需要一些时间才能完成，并且可能会导致首次访问每个块时的 I/O 操作延迟大大提高。在下载所有块并将其写入到卷后，才会实现卷性能。

这也就意味着，如果是从快照恢复一个EC2，或者是从CloudEndure的快照恢复过来，初始的磁盘性能将不足。由此，需要执行预热才能充分发挥性能。

预热分成手工预热和自动预热。

Continue reading “开启FSR自动预热从EBS快照恢复过来的卷”

Amazon Linux 2 系统适用于ARM架构的Linux软件包如何找？

2021年1月，AWS中国区正式发布ARM处理器的EC2云服务器，规格包括c6g、m6g、r6g。选择Amazon Linux 2 操作系统创建EC2后，可能需要查找软件安装源，一些服务器端软件可能在很多公开的软件源无法下载到ARM处理器对应版本。

此时，可以使用amazon-linux-extras install 软件名 进行安装。执行 amazon-linux-extras 查看可用软件包和版本。

Continue reading “Amazon Linux 2 系统适用于ARM架构的Linux软件包如何找？”

手工激活在IDC内网的Storage Gateway

注：2021年Storage Gateway产品特性更新，支持通过图形界面在内网激活，本文部分内容可能已经不适用，因此请参考这篇。

一、背景

Storage Gateway是在IDC中提供云端存储服务的虚拟网关。Storage Gateway可以提供文件存储、块存储（IPSAN）和虚拟带库（VTL）三种协议。Storage Gateway部署在IDC内，对IDC内提供网络服务，对外需要从IDC所在的运行位置，发起网络到AWS云的对应区域的管理控制台和S3桶。

此外，在激活Storage Gateway时候，需要AWS控制台能够链接Storage Gateway所对应的虚拟机的暴露在外网的80端口，这个条件对于国内IDC来说较为苛刻：

  • 1、是因为很多IDC上下行带宽不对等，没有太多公网IP可以用来暴露；
  • 2、ICP备案的要求，未经备案就无法打开80端口。

因此，因此本文将描述在此场景下，无需暴露公网80端口，如何手工激活。

Continue reading “手工激活在IDC内网的Storage Gateway”