使用Athena分析在S3上的WAF Log

一、背景

在使用WAF保护业务系统的过程中,经常需要查询历史日志,分析特定防护对象的防护效果,查看拦截的请求,或查看访问特定URL的防护效果。这时候就需要用到WAF日志功能。

AWS WAF支持将日志输出到CloudWatch Log Groups,Kinesis,以及S3。将日志输出到CloudWatch Log Groups使用方便,但是存储成本高;将日志输出到Kinesis后可连接多种投递方式,灵活且延迟低,但技术架构稍微复杂。将WAF日志存储到S3数据湖,可实现最低低成本储存日志,通过Athena可快速方便查询。

Continue reading “使用Athena分析在S3上的WAF Log”

Direct Connect 101 & 配置说明

一、背景

Direct Connect是AWS的专线接入服务,主要场景:

  • 连接客户IDC与AWS云
  • 连接其他云厂家与AWS云
  • 连接AWS中国和AWS海外区域

Direct Connect涉及网络知识较多,名词和术语多,配置步骤复杂。其中一个相对很难学习的地方在于Direct Connect无法自助学习配置,当没有真实专线连接的时候,Direct Connect云端界面无法完全模拟所有操作,因此给动手实验带来很大的困难。针对这个问题,本文将Direct Connect主要配置流程和方法进行梳理,并辅以截图进行讲解。

Continue reading “Direct Connect 101 & 配置说明”

实验十、在EKS上的ELB获取最终用户的真实IP地址

EKS动手实验合集请参考这里

EKS 1.27版本 @2023-06 AWS Global区域测试通过

一、背景

1、没有EKS而是使用EC2场景下获取客户端真实IP地址

在之前的文章主要是介绍ELB+EC2模式下,获取客户端真实IP,可参考AWS官方知识库这篇文章。也可参考过往的blog文章的这篇文章。

在这两篇中,主要讲解是ELB+EC2场景获取真实IP地址。如果用一个表格快速概括的话,汇总如下:

Continue reading “实验十、在EKS上的ELB获取最终用户的真实IP地址”

AWS Gateway Load Balancer (GWLB) in single VPC Quickstart

GWLB in single VPC Quickstart CloudFormation Template

一、架构说明

1、GWLB简介

关于AWS GWLB,之前构建过一个结合Transit Gateway的多VPC的GWLB方案,也就是所谓的集中式。集中式是指应用系统所在的VPC是没有GWLB Endpoint的,流量是通过Transit Gateway汇集到一个统一的VPC做流量检查。

本次构建的quickstart则是一个分布式检测架构。所谓分布式,是指整个架构不包含Transit Gateway,而应用系统VPC本身是包含GWLB Endpoint。未来增加第二个、第三个VPC时候,每个VPC都带有自己的GWLB Endpoint。所以这个架构,在只有一个VPC时候,看起来是Single VPC。如果有多个VPC,就是分布式流量检查架构。

本模版是针对是特定场景下的需求,如果是全新设计,建议按照GWLB最佳实践的架构进行组网。

本方案构建一个单VPC的网络检测方案。本文代码参考Github这里

Continue reading “AWS Gateway Load Balancer (GWLB) in single VPC Quickstart”

使用Keepalive机制在NAT后保持长链接

一、背景

1、NAT的长链接的局限

AWS云上的NAT/NLB/GWLB在针对长连接的场景上,存在350秒闲置超时的物理机制,且这是一个硬限制,无法通过开case提升limit的办法修改。这一限制的官方文档描述参考如下:NAT ,NLB ,GWLB 。

为了解决这一限制问题,需要同时在OS层、应用成打开keepalive设置,并且需要在服务器端和客户端分别配置。

Continue reading “使用Keepalive机制在NAT后保持长链接”

通过子域名授权的方式实现海外和国内分别使用Route53服务解析的方案

一、背景

1、使用单一域名按国家解析的挑战

有的客户希望在国内和海外采用单一域名运行,例如将域名部署在AWS全球的Route53服务上,并设置按照不同国家解析到不同Region的记录。此时,由于域名解析完全位于海外的DNS,国内的解析效果可能较差,存在解析不出来、同步延迟大等问题。如果由此将域名解析完全部署在中国区的Route53服务上,对国内用户体验良好,但是对海外用户又有解析失败概率提高的可能。

由此可采取授权子域名解析的办法。请看如下详细解释。

Continue reading “通过子域名授权的方式实现海外和国内分别使用Route53服务解析的方案”

海外区使用AWS Client VPN设置超时时间主动断开服务

AWS Client VPN是用于海外员工访问海外AWS云上资源的主要方式。之前做过配置手册效果演示视频两个素材,请点击这以上链接跳转。

AWS Client VPN按照连接的用户数和时长收费。AWS Client VPN默认24小时断开,并且此参数不支持在AWS控制台上调整。Anyway,此参数可以使用配置文件调整。方法如下。

Continue reading “海外区使用AWS Client VPN设置超时时间主动断开服务”

AWS Network Firewall (NFW) Demo

AWS Network Firewall 是一项新推出的 AWS 托管服务,可使您轻松地为所有 Amazon Virtual Private Cloud (VPC) 部署必要的网络保护。您只需单击几下鼠标就可以设置此服务,它随着网络流量而自动缩放,因此无需担心基础设施的部署和管理问题。AWS Network Firewall 适用于要检查和筛选 Amazon VPC 进出流量或 Amazon VPC 之间流量的客户。 

AWS官网
Continue reading “AWS Network Firewall (NFW) Demo”

为IDC或私有VPC内的Storage Gateway使用VPC Endpoint访问S3

之前写过Blog视频谈到了在内网环境的Storage Gateway的激活,在2021年Storage Gatway升级后,内网的激活流程和向导作出了改进,激活更为方便。

此外,如果安全上有需求要求所有流量在内网不能出现在公网,可以搭配专线或Site-to-site VPN,然后将所有流量发送到Interface类型的VPC Endpoint,即可实现所有流量处于内网的私密状态。

Continue reading “为IDC或私有VPC内的Storage Gateway使用VPC Endpoint访问S3”