一、申请Snowball
Snowball可用于将IDC大量数据从本地迁移到云端S3。如果云端的市场场景不是在S3上，那么还需要通过EC2进行中转，将数据提取出来，放到EFS等服务上使用。申请Snowball的主要过程如下。
1、创建S3存储桶
Snowball的数据在导入云后是存入S3 Bucket桶内的。因此第一步是在要导入数据的区域创建S3存储桶。例如导入北京则在北京申请桶，在宁夏区域则导入数据则在宁夏创建一个桶。
创建桶时候，可以将桶设置为非空开状态，并禁用所有Public规则。
注意：直到数据导入完成并正常运行之前的这一段时间，请不要删除此存储桶。
2、申请Snowball
进入Snowball界面，选择区域为中国，选择业务类型是导入到S3。如下截图。
在下一步输入邮寄地址和联系人，Snowball会邮寄到这里。在国内使用的物流服务商是顺丰。
第三步选择要使用的S3的桶名字。如下截图。
第四步选择创建IAM角色。点击创建按钮继续。
此时会弹出一个新窗口，保持选项默认，点击下一步就可以继续。
创建第五步，设置接受通知的SNS主题和邮件地址。如下截图。
最后一步，提交请求等待设备发货。
完成流程后，用户可以从AWS控制台上看到进度和步骤，分别会经过AWS审核、交付运输、在途、达到等多个状态。审核状态下，一般需要2-3天，且AWS会根据用户留下的联系方式，通过电话、邮件等方式联系。
如果在Snowball页面申请后，在第一个流程停留了3天还没有收到联系，请与support团队联系确认是否存在例外情况。
二、初始化Snowball客户端
1、收到Snowball
Snowball本身是一个坚固的运输设备，不需要包装箱，自身带有储存线缆的储物格，也有外置的E-Ink墨水屏幕（类似Amazon Kindle 电子书）的屏幕。外观如下。
收到设备后，大概储物格，可以找到电源线，用于连接到IDC。
2、硬件IP设置
分别打开前面板和后面板，暴露出来电子墨水屏幕和网络接口。启动电源。开机通电后大约5分钟启动完成，屏幕上将显示READY，方可进入下一步操作。如下截图。
按触摸屏上的Network，可以选择DHCP或者Static IP。设置IP地址，连接到网络。配置完成后，通过网络ping检查是否正常联通。（Snowball允许ping）
网络准备完成后，需要准备用于拷贝数据的客户端环境。
3、操作环境要求
Snowball本身是一个存储设备，需要一个“高性能工作站”作为复制数据的发起者。这个高性能“工作站”可以是一台虚拟机，也可以是一台物理服务器，也可以是高配置的笔记本电脑。这台用于复制数据的“工作站”需要挂载IDC内的数据源（如NAS），并且在网络上具备访问Snowball IP的最近路径，也就是延迟越低越好，建议与要复制的数据在同一个交换机上。网络建议具备10GE光纤接入，可保持持续复制低延迟高带宽。
复制数据将消耗CPU用于校验，因此推荐16vCPU、16GB的虚拟机规格。每个复制任务最高需要7GB内存，因此如果配置不满足16核16GB，最低也应配置8核8GB。操作系统建议为CentOS 7 Linux或Windows Server 2016。
4、获取证书
在收到Snowball之后，通过AWS Console可以看到Snowball的状态也会发生相应的改变。如下截图。（截图为旧版，新版控制台可能外观略有不同）
如果一次发起了多个Snowball导入任务，那么需要从中选取本次操作的任务。如果只有一个任务，那么点击详情，展开详细信息，可以从中找到 “Credentials” 解锁码和 “Manifest” 任务清单文件。如下截图。
解锁代码是一串20位数字和字母混合的序列号，请将这个序列号复制下来，保存到记事本，或者另外的地方，不要丢失。如果忘记或丢失，可能导致本次导入失败，需要重新邮寄Snowball设备，重新导入。
Manifest 任务清单文件是一个配置文件，需要将这个文件上传到执行导入的客户端环境中。
5、下载客户端
从本地IDC向Snowball内复制数据需要使用专用的客户端软件。Windows点这里。Linux点这里。MacOS点这里。Snowball客户端是一个压缩包，体积约为150MB，是Java语言编写，自带JRE运行环境。下载后无需安装，解压缩，然后以root身份运行即可。
进入到解压缩后的目录，进入bin目录，运行如下命令检查版本。
./snowball version输出返回了版本即为正常。如下截图。
如果运行snowball客户端的本机内存过小，低于8GB，则会提示内存不足。建议按照上文所介绍使用16vCPU、16GB的配置运行snowball客户端进行数据复制。
6、启动服务
为了避免操作过程的网络波动和断线造成干扰，推荐使用虚拟终端 screen 来执行后续所有操作。这样当发起操作中，用于调试的笔记本可以直接关机、休眠等，都不影响任务执行。第二天一早重新连接到虚拟终端即可。
安装虚拟终端使用如下命令。注：很多系统已经预装screen。可能会提示已经安装过了。
yum install screen执行 screen 命令命令启动一个新的虚拟终端。测试直接关闭SSH工具都不会影响终端程序运行。当离开电脑很久后重新回来，SSH可能早已经超时，甚至电脑已经休眠，只需要重新登录到SSH，执行 screen -x 即可连接刚之前的虚拟终端。
第一次启动激活设备命令如下。
snowball start -i 10.85.118.201 -m /root/JID2EXAMPLE-0c40-49a7-9f53-916aEXAMPLE81-manifest.bin -u 12345-abcde-12345-ABCDE-12345其中10.85.118.201是snowball的IP地址，之前调整好IP后，应该通过ping命令测试连通性。JID2EXAMPLE-0c40-49a7-9f53-916aEXAMPLE81-manifest.bin是前文下载的Manifest任务清单文件，后边的20位是数字和字母混合的激活代码。
启动成功，可执行 snowball status 命令确认状态。例如执行后如下返回：
Snowball Status: SUCCESS
S3 Endpoint running at: http://192.0.2.0:8080
Total Size: 72 TB
Free Space: 64 TB至此设备激活完毕。
三、复制数据
1、评估传输速度
（1）执行测试
接上文操作，假设要复制到snowball上的数据在 /var/www目录，那么执行如下命令发起性能测试：
./snowball test -r -t 5 /var/www在以上命令中，-r表示递归，即复制目录下的所有子目录，-t 5表示最大执行五分钟测试。如果被测试的目录下的数据量在5分钟内可以复制完毕，那么测试就会结束。执行结果如下图。
请将上述命令中的 /var/www 也就是数据路径替换为真实的路径，例如替换为NAS挂载到本Linux上的地址。测试程序将扫描被测试目录上的数据量，并且根据文件大小和磁盘性能，计算出大概的复制速度。测试时候加了 -t 5 的参数，表示最长测试5分钟。测试时间越长，结果越准确，测试时间短，或者数据量短，则不具有代表性。
（2）根据测试评估样本数据量和传输速度
测试是非常必要的，且意义重大。原因是复制过程对体积小数量多的场景下更耗时，对单个文件体积大数量少的场景反而更快。
例如，被测试的目录内有100个文件，那么运行测试，实际可能复制速度高达100MB/s，几秒钟就完成了测试，测试时间不会达到五分钟。这时候反应出来的复制速度，和真实数据场景是不一样的。假如真实数据场景有1000000个文件，每个文件1MB，那么执行测试，5分钟读取一遍全量数据显然是不够的，但是5分钟也能保证读取了相当多的文件样本，用来评估这个要迁移的目录的平均文件大小，平均传输速度等。测试使用 -t 5 参数表示达到5分钟后测试停止。由此就可以预估，在启动正式数据拷贝时候，要花多久时间。五分钟时间一般足以扫描足够多的文件，用于获得平均文件大小和传输了
（3）根据测试结果评估并发性能
测试数据将包含一个重要的参数是平均加密和传输时间，例如上述截图，因为都是小文件，所以测试近获得了17.66MB/s的平均速度（如上截图）。这个速度意味着，复制数据的瓶颈发生在读取过程的网络连接建立和会话过程，且加密也产生了性能损耗。
此测试结果表明，如果采用多个客户端同时发起复制，将能有效提升传输速度。（前提是目标目录下有多个二级子目录利于分别传输）。Snowball客户端不能对一个顶级目录同时发起多个并行传输，需要认为的定位到二级目录，分别从多个客户端传输。
多个客户端的传输时候，可以根据情况，确认是在一个虚拟机OS上打开多个SSH终端，发起多个传输；也可以是用多个虚拟机，每个虚拟机都运行一个snowball客户端，连接到同一个snowball设备，然后发起传输。
以上方法都将提升传输速度。
2、复制数据
复制前需要注意，文件名如果含有特殊字符，将不能被正常复制。请参考这里是对文件名的规范说明。
将源数据挂在到安装了Snowball客户端的复制主机上，例如上文运行测试的/var/www目录。假设在这个目录下的结构如下：
[ec2-user@ip-172-31-28-81 www]$ ls -l /var/www/
total 4
drwxrwsr-x 2 ec2-user apache 6 Apr 20 03:50 backup
drwxrwsr-x 2 ec2-user apache 6 Oct 22 22:59 cgi-bin
drwxrwsr-x 5 apache apache 4096 Apr 15 15:40 html
[ec2-user@ip-172-31-28-81 www]$执行复制时候，可以整体一次性传输整个目录，子目录和文件将一并传输。
进入snowball客户端的bin目录下，查询snowball目录和文件使用如下命令。这里的MyBucketName就是在申请Snowball时候，在S3系统上创建的Bucketname。此名称不能更改，后续都必须使用同一个桶名称。
./snowball ls s3://MyBucketName/在snowball上创建目录命令如下。（也可以不创建目录，复制到根目录下）
./snowball mkdir s3://MyBucketName/data1复制数据命令如下。
./snowball cp -r -b /var/www s3://MyBucketName/data1复制数据时候，可以增加参数 -r 表示复制整个目录。参数 -b 表示批处理，会讲小于1MB的文件批量出来复制。批处理是snowball客户端自动进行，对用户透明，复制完成后，数据也是单个文件的正常状态。默认情况下snowball客户端复制时候将10000个小文件一次批处理，这将消耗相当的计算和内存资源，这也是为什么运行snowball的客户端虚拟机，每个虚拟机需要8vCPU、8GB内存的原因。
复制期间如果遇到网络终端，客户端或者NAS源数据端宕机等问题，复制将停止。此时可以使用名下命令再次对同一个目录发起传输。
snowball retry删除单个文件命令如下。
snowball rm s3://MyBucketName/data1/abc.pdf删除整个文件命令如下。
snowball rm -r s3://MyBucketName/data13、查看日志
使用如下命令校验数据（时间可能很长 ）
snowball -v validateLinux客户端日志在如下目录下。
Linux – /home/<username>/.aws/snowball/logs/Windows客户端日志在如下目录下。
Windows – C:\Users\<username>\.aws\snowball\logs\4、性能提升说明
前文所提到的增加测试步骤，获取在当前数据样本下的平均复制性能非常重要。为了加快传输，可以采取以下办法：
- 增大复制客户端效果，例如将8核8GB提升到16核16GB；
- 让复制客户端和数据源在同一个柜顶交换机上；
- 增加 -b 参数批量复制小文件
- 传输目录而不是传输文件，例如在/var/www/data1目录下有100个文件，用-r和-b参数一次传输整个目录的速度，远大于运行100次snowball cp命令的速度
- 并发复制，例如/var/www目录下有data1和data2两个子目录，那么在同一个复制客户端上，可以开两个SSH进程，分别跑两个snowball cp进程，注意每个进程需要8GB内存；
- 多个客户端复制，如上一条，将多个子目录在多个客户端（虚拟机）上发起复制，每个任务至少需要8vCPU和8GB内存；
- 传输期间不要进行其他操作；
- 使用screen虚拟终端避免网络中端。
四、邮寄返回
1、关闭服务
在执行数据复制的客户端上，执行如下命令关闭snowball服务。
snowball stop命令执行后等待程序正常退出到Linux shell提示符。
按 Snowball 电子墨水屏幕上的电源按钮，选择关机，并等待一段时间，系统将关机，风扇停转。此时可以拔下各种电缆，包括电源线，并将电源线收纳在储物格中，保持邮寄来的样子发送走。
关闭系统后的几分钟内，电子墨水屏上会出现邮寄代码，请记录下这个代码（可以用手机拍照），此代码非常重要，将用于联系AWS和物流运输。如果在关机几分钟后甚至10分钟后，电子墨水屏都没有显示任何信息，可能是Snowball设备发生故障，此时请联系AWS开技术支持工单。
2、联系物流运输
在获取到电子墨水屏幕上的邮寄代码后，请不要自行联系顺丰等物流公司。请与AWS联系，AWS会为您提供特定的联系方式。
请准备以下信息：
- Snowball 作业 ID（通过控制台查看）
- AWS 账户 ID
- 您希望上门提取设备的日期
- 最早上门取货时间
- 最晚上门取货时间
- 客户联系方式
请将以上信息发送给AWS提供的特定沟通渠道，顺丰会按照您要求的时间上门取件。
3、监控导入和后续使用
顺丰收取设备后，可以按照单号追踪运输过程。当设备抵达AWS后，控制台上的任务阶段会变更为At-AWS。这个过程是AWS接收了设备，但还没有开始对接导入。这个状态将持续大概一天左右时间。
随后，控制台上的任务阶段将显示 Importing，即导入中。数据将导入S3存储桶。此过程将持续1-3天，根据文件数量多少（单个文件体积小文件总量多会导致速度慢，单个文件体积大数量少反而更快）。导入完成后，任务阶段将显示Completed。
导入完成的数据已经位于S3上，如果使用场景是在EFS等场景，可以使用AWS CLI等工具，将数据复制到EFS上。也可以使用其他工具进行操作。
至此Snowball全过程完成。
五、参考资料
Snowball完整文档（在线阅读）
https://docs.amazonaws.cn/snowball/latest/ug/whatissnowball.html
Snowball中文使用手册PDF版本（可下载离线阅读）
https://docs.amazonaws.cn/snowball/latest/ug/AWSSnowball-ug.pdf#whatissnowball
文件名可接收的字符
https://docs.amazonaws.cn/AmazonS3/latest/dev/UsingMetadata.html#object-key-guidelines