一、背景
当DMS配置为Full Load + CDC(又名Ongoing replication)或者配置为CDC Only后,在传输过程中,可能因为网络等原因中断,包括主动断网、被动断网等。这时候需要重新启动任务继续传输。那么此时DMS能否实现“断点续传”,也就是从停止下来的地方继续开始、而不会触发全表复制?
答案是可以的,本文档模拟环境如下。
Continue reading “DMS停止服务后Resume续传的测试”一年之计在于春。2023年,一起沉浸在AWS学习的海洋!
当DMS配置为Full Load + CDC(又名Ongoing replication)或者配置为CDC Only后,在传输过程中,可能因为网络等原因中断,包括主动断网、被动断网等。这时候需要重新启动任务继续传输。那么此时DMS能否实现“断点续传”,也就是从停止下来的地方继续开始、而不会触发全表复制?
答案是可以的,本文档模拟环境如下。
Continue reading “DMS停止服务后Resume续传的测试”Data Replication Hub是AWS的数据复制方案,可用于在云间复制,或者在AWS Global和中国区之间复制数据。本文以从海外复制到中国区为例。
其他使用场景,请参考官方文档。
Continue reading “使用Data Replication Hub从AWS Global S3区域向中国区S3复制数据”在某些实验场景下,可能需要将1个S3桶内的实验素材分发给多个AWS账户。此时,打开Public访问允许互联网公开是不安全的。通过设置S3桶的ACL可以定向授权给特定用户允许访问。
Continue reading “配置S3桶允许跨账户复制数据”注意:本文最初编写于2020年9月。至2023年初,本文所介绍的S3-resumable-upload工具已经不再维护(参考本文末尾Github上介绍),最新的代码和功能被合并到Data Transfer Hub。新的Data Transfer Hub是带有GUI图形界面的S3迁移工具,支持阿里云等多个公有云的对象存储服务,可一键生成复制任务,背后通过ECS容器服务进行多线程复制,且支持增量复制。详情请跳转到Data Transfer Hub的官网。本工具本身免费,复制时候需要的资源如另外拉起ECS容器按云标准收费。
Amazon-s3-resumable-upload 是 AWS S3 的迁移工具,有单机版、集群版、无服务器Serverless(Lambda)版本,可以用于本地到S3上云,国内外S3互传等场景。其中如果源站是阿里云,则暂时只有单机版本支持。
部署迁移工具需要在AWS云上创建一个EC2,使用Amazon Linux 2操作系统,并安装Python3和相关依赖库。
Continue reading “阿里云 OSS 迁移到 AWS S3”CloudEndure是一套基于存储块复制技术的迁移工具,可以用于上云迁移或异地容灾。本文描述如何将一个Windows环境迁移到AWS中国区域。
Continue reading “使用CloudEndure迁移Windows环境到AWS”一个典型的NAS迁移场景是使用Snowball将原IDC的大量数据复制到Snowball上,然后通过Snowball交运到AWS云。数据在AWS区域内,会从Snowball中提取出来,保存到S3目标存储桶内。也就是说,Snowball的交付成果是一个S3存储桶。至此Snowball迁移的流程结束。
Continue reading “使用Rsync为Snowball迁移后的文件系统做增量复制”Snowball可用于将IDC大量数据从本地迁移到云端S3。如果云端的市场场景不是在S3上,那么还需要通过EC2进行中转,将数据提取出来,放到EFS等服务上使用。申请Snowball的主要过程如下。
Continue reading “使用Snowball客户端传输数据”企业引入多云战略后,需要将一部分云资源从某云服务商迁移到另一个,这时候就需要依赖云厂家提供的迁移工具。不过,阿里云在Windows操作系统上做了一个限制,不允许Windows的虚拟机转换为镜像。这个信息的出处在阿里云官网的这里。如下截图。
针对Linux系统可以直接export为镜像文件,然后传输到AWS云上,但Windows系统不能导出。这可能是出于对微软License管理的角度。由此给迁移造成了难度。
如果应用部署不是特别复杂,建议在AWS上直接创建新的空白的Windows,然后部署应用,将应用的配置文件等打包通过S3复制到AWS上运行。
如果原有应用不便于重新部署,例如应用开发、维护团队已经离场,开发团队人员变更、甚至解散,无法为迁移提供技术支持,那么可以采用本文的方法:即使用其他第三方工具将阿里云上的Windows提取为镜像,然后导入AWS迁移。注:导入镜像时候,默认将采用AWS提供的Windows Server License运行。
Continue reading “迁移阿里云 ECS Windows 到 AWS EC2”