阿里云 OSS 迁移到 AWS S3

注意：本文最初编写于2020年9月。至2023年初，本文所介绍的S3-resumable-upload工具已经不再维护（参考本文末尾Github上介绍），最新的代码和功能被合并到Data Transfer Hub。新的Data Transfer Hub是带有GUI图形界面的S3迁移工具，支持阿里云等多个公有云的对象存储服务，可一键生成复制任务，背后通过ECS容器服务进行多线程复制，且支持增量复制。详情请跳转到Data Transfer Hub的官网。本工具本身免费，复制时候需要的资源如另外拉起ECS容器按云标准收费。

一、迁移工具

Amazon-s3-resumable-upload 是 AWS S3 的迁移工具，有单机版、集群版、无服务器Serverless（Lambda）版本，可以用于本地到S3上云，国内外S3互传等场景。其中如果源站是阿里云，则暂时只有单机版本支持。

部署迁移工具需要在AWS云上创建一个EC2，使用Amazon Linux 2操作系统，并安装Python3和相关依赖库。

JDBC连接MySQL报告Zero data value prohibited的解决

在SQL Workbench J使用JDBC连接MySQL时候，遇到错误：

Zero data value prohibited

即无法查询特定的表；查询其他表OK。遇到错误的表改成在MySQL命令行下查询正常。

使用AWS CLI Profile时候遇到报告”Key不存在” 的解决办法

1、故障现象

在AWS CLI下，执行aws s3 ls命令的时候，报告如下错误。

An error occurred (InvalidAccessKeyId) when calling the ListBuckets operation: The AWS Access Key Id you provided does not exist in our records.

经过测试，执行其他CLI命令也会遇到相同的错误。

Redshift动手实验（二）优化表结构

1、创建Redshift集群

实验一创建的集群是2节点的dc2.large，这里调整为4节点dc2.large。

Redshift动手实验（一）

1、创建表结构

执行如下命令，在Public Schema下创建表。

在NLB和ALB后获取客户端真实IP地址

注：本文只对ELB+EC2有效，EKS上的NLB请参考这篇博客。

一、背景

1、ELB分类

AWS ELB提供了弹性扩展能力，用于多EC2节点流量负载、高可用、弹性扩展的调度等用途。目前主要使用以NLB和ELB为主。上一代传统负载均衡器又被称为CLB，推荐不要再继续使用CLB，而是更换到NLB和ALB。

使用Powershell自动初始化实例本地硬盘

一、背景

当选择带有本地实例存储的规格时候，例如c5d,m5d,g4dn等，EC2上除系统盘外，会自动增加一个本地存储。本地存储在关闭EC2后会清空。再次打开EC2电源时候，EC2会将本地存储识别为一个没有经过初始化的新驱动器，上次分配的盘符也不再处于绑定状态。

如果希望每次开机后对实例存储自动初始化、格式化、并绑定盘符，则可以使用本文的脚本。

在Windows下安装Tensorflow

一、背景

Tensorflow可以在Windows下安装运行，有GPU版本和CPU版本。自行安装Tensorflow的一个主要问题就是版本不匹配。CUDA和Tensorflow的搭配是有特定版本要求的，并非越高越好。因此如果完全去Nvidia官网下载公开驱动，在运行Tensorflow过程中很可能报告找不到xxx.dll等错误，就是因为版本不匹配造成的。网上可以搜索到相关文章。相对于自行安装Python、自行下载CUDA、CUDNN、Tensor等组件并匹配版本，还要配置环境变量，复杂和麻烦。因此，本文推荐使用Anaconda一步到位。