Month: June 2021

一、背景

Session Manager是System Manager（以下简称SSM）里边的管理套件其中的一个组件。使用Session Manager可以免密钥登录EC2。

Session Manager的使用条件是，EC2要安装SSM Agent。

Continue reading “使用Session Manager登录EC2”

前提条件：

• 需要本机配置AWS CLI的AK/SK；
• 本机安装Python3；
• 本机安装boto3库（执行pip3 install boto3）。

Python脚本如下：

import boto3.ec2
client = boto3.client('ec2')
ec2action = boto3.resource('ec2')

response = client.describe_instance_status(
    IncludeAllInstances=True
)

for i in response['InstanceStatuses']:
    instance = ec2action.Instance(i['InstanceId'])
    response1 = instance.stop(
            #DryRun=True,
            Force=True
    )
    print("instance: ", i['InstanceId'], "is being stopped." )
    print(response1)

以上为关机脚本。如果需要批量开机，替换stop为start即可。

一、背景

Athena在2021年5月正式升级到V2引擎（含中国区），新增特性之一是通过联合查询 Federated Query 特性从RDS、DynamoDB等AWS服务中检索数据。本文描述如何使用配置并启用联合查询。

Continue reading “使用Athena V2引擎的联合查询Federated Query从RDS中检索数据”

Glue在做ETL转换时候，因为数据源文件的格式和字段问题，可能无法正确的分区，因此会导致一个一个大文件被转换为若干个小文件，存在一个目录下。如下截图。

Continue reading “Glue ETL 生成单一文件”