注：2024年2月起，Kinesis Data Firehose也成为了独立产品Data Firehose。再加上之前成为独立产品的Managed Flink，Kinesis的三套件目前都成为了独立产品。
一、背景
Kinesis作为AWS流式数据服务的核心产品，支持多种数据服务作为投递对象。通过Kinesis Data Firehose将数据持久化落盘到S3并自动加载到Redshift数据仓库，可实现最低一分钟的分析间隔，且无需额外配置脚本或计划任务用于加载和数据转换。
本文通过自定义脚本生成测试数据，并加载到Redshift。
Continue reading “Kinesis Data Firehose 准实时写入数据到Redshift方案”