Category: Analytics

一、通过JDBC使用SQL Workbench J工具连接

从官网下载：https://www.sql-workbench.eu/downloads.html

从本实验的镜像下载：https://lxy-sa-software.s3.cn-north-1.amazonaws.com.cn/Workbench-Build127-with-optional-libs.zip

注意，运行环境需要Java。

一、背景

Athena在2021年5月正式升级到V2引擎（含中国区），新增特性之一是通过联合查询 Federated Query 特性从RDS、DynamoDB等AWS服务中检索数据。本文描述如何使用配置并启用联合查询。

Glue在做ETL转换时候，因为数据源文件的格式和字段问题，可能无法正确的分区，因此会导致一个一个大文件被转换为若干个小文件，存在一个目录下。如下截图。

一、准备工作

在S3上新建一个存储桶，多人实验时候请注意存储桶名称需要唯一。在存储桶内新建两个目录，一个名为 raw 用于存放原始数据，第二个目录名为 etl 用于存放转换过的数据。

请将测试数据 sample.json 文件上传到存储桶的raw目录内。请记住文件大小，稍后将会进行对比。

一、背景

Amazon Managed Streaming for Apache Kafka 是AWS推出的托管Kafka服务。主要优势体现在：

• Amazon MSK 使您可以专注于创建流应用程序，而无需担心管理 Apache Kafka 环境的运营开销。Amazon MSK 为您管理 Apache Kafka 集群和 Apache ZooKeeper 节点的预置、配置及维护。Amazon MSK 还在 AWS 控制台中显示关键的 Apache Kafka 性能指标。
• Amazon MSK 创建 Apache Kafka 集群，并在一个 AWS 区域内提供多可用区复制。Amazon MSK 持续监控集群的运行状况，并自动替换发生故障的组件。
• Amazon MSK 可为您的 Apache Kafka 集群提供多级安全性，包括 VPC 网络隔离、使用 AWS IAM 进行控制层面 API 授权、静态加密、传输中 TLS 加密。

一、配置Redshift使用的IAM Role

1、新建Redshift运行角色

进入IAM界面，点击新建角色。如下截图。

一、背景

Redshift支持从S3加载CSV格式数据，也可以加载JSON格式数据。本文描述如何从Redshift加载JSON格式数据。

1、创建Redshift集群

实验一创建的集群是2节点的dc2.large，这里调整为4节点dc2.large。

1、创建表结构

执行如下命令，在Public Schema下创建表。

一、前言

Amazon Redshift 是一种完全托管的 PB 级云中数据仓库服务。Amazon Redshift 数据仓库是一个节点组成的各种计算资源构成的集合，这些节点归属于集群的组中。每个集群运行一个 Amazon Redshift 引擎并包含一个或多个数据库。开始时，您可以只使用几百 GB 数据，然后扩展至 1 PB 或更多。这样，您可以使用数据获得对您的业务和客户的新简介。

本文是个简单测试，本文汇总了AWS官网文档中的操作和交互流程，并整理成如下文章。

在AWS EMR使用多个Master高可用部署场景下，需要创建3台Master节点上。登录到其中一台节点，运行如下命令：

yarn application -list

在某些场景下会遇到如下报错。报错信息：

WARN ipc.Client: Failed to connect to server: ip-172-31-22-134.cn-northwest-1.compute.internal/172.31.22.134:8032: retries get failed due to exceeded maximum allowed retries number: 0
java.net.ConnectException: Connection refused

一、排查思路

遇到网站访问错误，例如网站报告504错误，建议分段排查。如果网站有多个服务商组成，例如在AWS之前使用了CDN、WAF等，这需要分段排查。思路如下。

1、分段排查，分成 域名解析 -> 第三方WAF -> AWS ELB -> AWS EC2 几段。

2、各段打开LOG，根据LOG报错排查。

为了方便调查，这里将使用AWS Athena快速检索网站日志。