一、背景
Athena在2021年5月正式升级到V2引擎（含中国区），新增特性之一是通过联合查询 Federated Query 特性从RDS、DynamoDB等AWS服务中检索数据。本文描述如何使用配置并启用联合查询。
Continue reading “使用Athena V2引擎的联合查询Federated Query从RDS中检索数据”Category: AWS技术文档
Glue ETL 生成单一文件
Glue在做ETL转换时候，因为数据源文件的格式和字段问题，可能无法正确的分区，因此会导致一个一个大文件被转换为若干个小文件，存在一个目录下。如下截图。
Continue reading “Glue ETL 生成单一文件”使用Gateway Load Balancer实现集中的网络流量深度检测
一、背景
Gateway Load Balancer（以下简称GWLB）于2020年Re-Invent上被宣布并在2021年3月发布。
Continue reading “使用Gateway Load Balancer实现集中的网络流量深度检测”使用Rekognition识别视频中的名人
一、原理和架构
Rekognition服务目前在AWS海外区域可用，在中国区暂时不可用。
1、原理
Rekognition的原理是：
- 上传视频到S3中，获得完整的S3存储地址；
- 调用Rekognition的API发起对S3中的某个视频文件的识别，不同类型的识别有不同的接口，比如识别物体、人脸、名人为不同的调用接口，此任务为异步，返回 JobId 信息。
- 视频分析完毕后，Rekognition回call SNS通知服务，并可根据 JobId 查询；
- 应用程序接收到SNS通知后，从SNS消息总线中取出ID，然后再次调用Rekognition的获取分析接口，获得JSON格式的输出结果，输出结果包含人物ID、任务信息、时间线等；
- 最后调用获取名人信息接口，输入人物ID，获得名称和公开信息（URL网址）。
Gateway Load Balancer Demo
视频有讲解，注意调整音量。
使用KMS对S3存储桶进行加密
一、背景
本文描述了如何使用Server Side Encryption – KMS方式对S3存储桶的文件加密，并测试解密和访问。
Continue reading “使用KMS对S3存储桶进行加密”S3数据湖+Athena+Glue 无服务器数据分析实验
一、准备工作
在S3上新建一个存储桶，多人实验时候请注意存储桶名称需要唯一。在存储桶内新建两个目录，一个名为 raw 用于存放原始数据，第二个目录名为 etl 用于存放转换过的数据。
请将测试数据 sample.json 文件上传到存储桶的raw目录内。请记住文件大小，稍后将会进行对比。
使用Data Replication Hub从AWS Global S3区域向中国区S3复制数据
一、背景
Data Replication Hub是AWS的数据复制方案，可用于在云间复制，或者在AWS Global和中国区之间复制数据。本文以从海外复制到中国区为例。
其他使用场景，请参考官方文档。
Continue reading “使用Data Replication Hub从AWS Global S3区域向中国区S3复制数据”使用VPC Endpoint从VPC或IDC内访问S3
一、背景
AWS PrivateLink for S3 于2020年 re:Invent 上被宣布并在2021年2月正式发布。AWS Global区域和AWS中国区域均支持本功能。
Continue reading “使用VPC Endpoint从VPC或IDC内访问S3”创建并连接MSK服务
一、背景
Amazon Managed Streaming for Apache Kafka 是AWS推出的托管Kafka服务。主要优势体现在：
- Amazon MSK 使您可以专注于创建流应用程序，而无需担心管理 Apache Kafka 环境的运营开销。Amazon MSK 为您管理 Apache Kafka 集群和 Apache ZooKeeper 节点的预置、配置及维护。Amazon MSK 还在 AWS 控制台中显示关键的 Apache Kafka 性能指标。
- Amazon MSK 创建 Apache Kafka 集群，并在一个 AWS 区域内提供多可用区复制。Amazon MSK 持续监控集群的运行状况，并自动替换发生故障的组件。
- Amazon MSK 可为您的 Apache Kafka 集群提供多级安全性，包括 VPC 网络隔离、使用 AWS IAM 进行控制层面 API 授权、静态加密、传输中 TLS 加密。