一、启用S3加速
S3 Accelerator目前仅在Global区域有效。
1、启用方法
进入S3存储桶,点击第二个标签页”属性“,点击高级设置中的”转移加速度“(英文是Tranfer acceleration),点击Enable启用。然后点击Save保存。
Continue reading “S3 Acceleration 上传加速测试”本站是个人兴趣学习笔记,不卖产品不卖课,不解答问题,文章仅为学习探讨交流之用,使用场景请谨慎把握
S3 Accelerator目前仅在Global区域有效。
进入S3存储桶,点击第二个标签页”属性“,点击高级设置中的”转移加速度“(英文是Tranfer acceleration),点击Enable启用。然后点击Save保存。
Continue reading “S3 Acceleration 上传加速测试”注意:本文最初编写于2020年9月。至2023年初,本文所介绍的S3-resumable-upload工具已经不再维护(参考本文末尾Github上介绍),最新的代码和功能被合并到Data Transfer Hub。新的Data Transfer Hub是带有GUI图形界面的S3迁移工具,支持阿里云等多个公有云的对象存储服务,可一键生成复制任务,背后通过ECS容器服务进行多线程复制,且支持增量复制。详情请跳转到Data Transfer Hub的官网。本工具本身免费,复制时候需要的资源如另外拉起ECS容器按云标准收费。
Amazon-s3-resumable-upload 是 AWS S3 的迁移工具,有单机版、集群版、无服务器Serverless(Lambda)版本,可以用于本地到S3上云,国内外S3互传等场景。其中如果源站是阿里云,则暂时只有单机版本支持。
部署迁移工具需要在AWS云上创建一个EC2,使用Amazon Linux 2操作系统,并安装Python3和相关依赖库。
Continue reading “阿里云 OSS 迁移到 AWS S3”在SQL Workbench J使用JDBC连接MySQL时候,遇到错误:
Zero data value prohibited
即无法查询特定的表;查询其他表OK。遇到错误的表改成在MySQL命令行下查询正常。
Continue reading “JDBC连接MySQL报告Zero data value prohibited的解决”在AWS CLI下,执行aws s3 ls命令的时候,报告如下错误。
An error occurred (InvalidAccessKeyId) when calling the ListBuckets operation: The AWS Access Key Id you provided does not exist in our records.
经过测试,执行其他CLI命令也会遇到相同的错误。
Continue reading “使用AWS CLI Profile时候遇到 报告”Key不存在” 的解决办法”注:本文只对ELB+EC2有效,EKS上的NLB请参考这篇博客。
AWS ELB提供了弹性扩展能力,用于多EC2节点流量负载、高可用、弹性扩展的调度等用途。目前主要使用以NLB和ELB为主。上一代传统负载均衡器又被称为CLB,推荐不要再继续使用CLB,而是更换到NLB和ALB。
Continue reading “在NLB和ALB后获取客户端真实IP地址”当选择带有本地实例存储的规格时候,例如c5d,m5d,g4dn等,EC2上除系统盘外,会自动增加一个本地存储。本地存储在关闭EC2后会清空。再次打开EC2电源时候,EC2会将本地存储识别为一个没有经过初始化的新驱动器,上次分配的盘符也不再处于绑定状态。
如果希望每次开机后对实例存储自动初始化、格式化、并绑定盘符,则可以使用本文的脚本。
Continue reading “使用Powershell自动初始化实例本地硬盘”Tensorflow可以在Windows下安装运行,有GPU版本和CPU版本。自行安装Tensorflow的一个主要问题就是版本不匹配。CUDA和Tensorflow的搭配是有特定版本要求的,并非越高越好。因此如果完全去Nvidia官网下载公开驱动,在运行Tensorflow过程中很可能报告找不到xxx.dll等错误,就是因为版本不匹配造成的。网上可以搜索到相关文章。相对于自行安装Python、自行下载CUDA、CUDNN、Tensor等组件并匹配版本,还要配置环境变量,复杂和麻烦。因此,本文推荐使用Anaconda一步到位。
Continue reading “在Windows下安装Tensorflow”效果参考如下视频。
注:跨Region发布网站时候,ELB会使用VPC内网IP去访问源站。如果使用ALB,则可以通过检查HTTP头获取客户端真实IP地址。
在业务应用不方便进行读写分离调用的时候,可以考虑使用ProxySQL实现全局的透明读写分离。本文描述如何配置一个单机非集群版本的ProxySQL的MySQL 代理。后端数据库为AWS Aurora MySQL数据库。
Continue reading “配置ProxySQL实现透明读写分离”本文适用于在AWS中国区使用G4实例进行3D图像处理,并通过NICE-DCV协议远程控制。
Continue reading “使用G4 Windows实例和NICE DCV运行3D设计程序”Linux EC2用于GPU等场景下需要安装GUI图形桌面,常见的有KDE、Gnome、XFCE等。本文描述了如何在Amazon Linux 2上安装Mate图形桌面,并使用VNC远程连接。本文在中国区测试通过。
Continue reading “在Amazon Linux 2安装Mate图形桌面并使用VNC远程连接”当EC2 Windows EC2启动失败时候,因为无法通过RDP远程连接,排错会感到措手无策。这时候,可以通过EC2控制台,选中有问题的实例,点击操作,然后点击查看系统日志和查看实例截图这两个按钮来获取错误信息。
Continue reading “使用EC2Rescue提取启动失败的Windows日志”CloudEndure是一套基于存储块复制技术的迁移工具,可以用于上云迁移或异地容灾。本文描述如何将一个Windows环境迁移到AWS中国区域。
Continue reading “使用CloudEndure迁移Windows环境到AWS”