我有一个1-Gig EBS卷安装到EC2实例,
我从本地硬盘驱动器复制600MB二进制数据(通过RDS连接)
并显示复制过程窗口 剩余10小时。
虽然我有一个高速连接(100 + Mbps)
无论数据量是多少,数据传输速率都是1 Min / MB(即16Kbs / Sec)
我在工作站前阅读Moby Dick或只是休息一天之间犹豫不决。
有没有合理的选择加快这个转移率?
(理想情况下至少为512 Kbps /秒)
我对任何解决方案都非常开放,以缩短上传/下载时间和EC2实例。
提前致谢。
编辑:
我偶然发现[亚马逊出口/进口服务] [1]
“AWS Import / Export可加速在您发送给我们的AWS云和便携式存储设备之间传输大量数据“
通过“邮寄给我们”,他们实际上意味着您“实质性地”将您的存储设备运送到亚马逊。
不要说这是Stoneage,这是BRAND新技术,老兄! :-)
编辑2:
这听起来很棒:[Aspera for AWs] [2]但不幸的是太贵了;
财富500强为大型需求和大笔现金量身定制。
有时候,如果你想做点什么,最好自己做:-)
我没有找到任何令人满意的网络,所以我花了一个晚上做了一个相当 完整的台架测试 我自己的。
我测试了一些替代方案/方案,结果如下:
EC2上安装的FTP服务器是Filezilla Server(正确配置很敏感)
用于此Bench测试的FTP客户端是WinSPC(Filezilla客户端无效。请参阅 这个帖子
图例:[HC]代表Home Connection(100MBps)
上传带宽
RDS上传: 15 Kb / S. =>有点糟糕
FTP上传[EC2上安装的FTP服务器]: 100 Kb / S.
从HC管理控制台上传到S3: 60 Kb / S.
使用EC2的AWS Console界面上传到S3: 145 Kb / S.
使用上传到S3 S3浏览器 来自HC: 120 Kb / S.
使用上传到S3 S3浏览器 来自EC2: 2000 Kb / S.
下载带宽
RDS下载和上传: 15 Kb / S. =>有点糟糕
FTP下载[EC2上安装的FTP服务器]: 360 Kb / S.
从EC2的S3 AWS Console界面下载: 350 Kb / S.
从S3下载使用 S3浏览器:来自HC: 380至620 Kb / S.
从S3下载使用 S3浏览器:来自EC2: 3000 Kb / S.
结论:
所以,截至目前, Amazon S3与S3 Browser结合使用可获得最佳效果。
(S3浏览器只是S3上的一层我不知道为什么上传率更好)
但是,应该记住,EC2实例上的FTP服务器具有将本地EC2目录直接映射到EC2的巨大优势。 与S3不同,只涉及一次转移。实际上,S3需要2次转移:将本地资源转换为S3 /以及从S3转换为EC2,反之亦然,而FTP Access通过缩短转移周期来实现即时性。此外,它节省了S3 Buckets的成本。
有趣的是,EC2 Instance的带宽非常强大。因此,使用真正利用它的协议(如S3或FTP,而不是RDS)更为有趣 - 无能为力。
我希望这对面临同样问题的其他人有用,并为他们节省宝贵的时间。
使用Aspera或Tsunami UDP并将600 MB移动到您的Amazon EC2 infra(跳转框)。然后从跳转盒内部复制到Windows ec2。我的基准测试表明,与传统模式相比,海啸UDP的速度要快得多。