问题 提高Amazon EC2的数据传输率


我有一个1-Gig EBS卷安装到EC2实例, 我从本地硬盘驱动器复制600MB二进制数据(通过RDS连接) 并显示复制过程窗口 剩余10小时。 虽然我有一个高速连接(100 + Mbps)

无论数据量是多少,数据传输速率都是1 Min / MB(即16Kbs / Sec) 
我在工作站前阅读Moby Dick或只是休息一天之间犹豫不决。

有没有合理的选择加快这个转移率? 
(理想情况下至少为512 Kbps /秒)

我对任何解决方案都非常开放,以缩短上传/下载时间和EC2实例。

提前致谢。

编辑: 
我偶然发现[亚马逊出口/进口服务] [1] “AWS Import / Export可加速在您发送给我们的AWS云和便携式存储设备之间传输大量数据
 通过“邮寄给我们”,他们实际上意味着您“实质性地”将您的存储设备运送到亚马逊。
 不要说这是Stoneage,这是BRAND新技术,老兄! :-)

编辑2:
这听起来很棒:[Aspera for AWs] [2]但不幸的是太贵了;
财富500强为大型需求和大笔现金量身定制。


4583
2018-05-07 01:51


起源

S3会替代吗?我知道S3适用于Web Access,这不是我的用例。但如果它提高了传输速率并且可以从本地硬盘驱动器访问,为什么不能。 - Mehdi LAMRANI
我找到了这个 : forums.aws.amazon.com/message.jspa?messageID=183555。我在欧洲,但在EBS Volume创建时,除了“US East”之外别无选择。 - Mehdi LAMRANI
“永远不要低估一辆满载磁带的旅行车的带宽。” -Tanenbaum,Andrew S.(1996)。计算机网络。新泽西州:Prentice-Hall。页。 83.国际标准书号0-13-349945-6。 - Jeremy Logan
至少他们不是要求你通过蜗牛转移...... blog.makezine.com/2006/02/16/data-transfer-via-snail - nym
确实,仍然没有任何东西可以击败磁带以获得高音量。开始怀疑这些传输速率是故意为“批量”用户填充实例小时数。比其他提供商慢得多。我不愿意认为有任何切片或多路复用。 (2。5年后,仍然很慢)。 - mckenzm


答案:


有时候,如果你想做点什么,最好自己做:-)

我没有找到任何令人满意的网络,所以我花了一个晚上做了一个相当 完整的台架测试 我自己的。 我测试了一些替代方案/方案,结果如下:

EC2上安装的FTP服务器是Filezilla Server(正确配置很敏感)
用于此Bench测试的FTP客户端是WinSPC(Filezilla客户端无效。请参阅 这个帖子
图例:[HC]代表Home Connection(100MBps)

上传带宽
RDS上传: 15 Kb / S.  =>有点糟糕
  FTP上传[EC2上安装的FTP服务器]: 100 Kb / S. 
从HC管理控制台上传到S3: 60 Kb / S. 
使用EC2的AWS Console界面上传到S3: 145 Kb / S. 
使用上传到S3 S3浏览器 来自HC: 120 Kb / S. 
使用上传到S3 S3浏览器 来自EC2: 2000 Kb / S. 

下载带宽
RDS下载和上传: 15 Kb / S.  =>有点糟糕
  FTP下载[EC2上安装的FTP服务器]: 360 Kb / S. 
从EC2的S3 AWS Console界面下载: 350 Kb / S. 
从S3下载使用 S3浏览器:来自HC: 380至620 Kb / S. 
从S3下载使用 S3浏览器:来自EC2: 3000 Kb / S. 

结论: 

所以,截至目前, Amazon S3与S3 Browser结合使用可获得最佳效果。 (S3浏览器只是S3上的一层我不知道为什么上传率更好)

但是,应该记住,EC2实例上的FTP服务器具有将本地EC2目录直接映射到EC2的巨大优势。 与S3不同,只涉及一次转移。实际上,S3需要2次转移:将本地资源转换为S3 /以及从S3转换为EC2,反之亦然,而FTP Access通过缩短转移周期来实现即时性。此外,它节省了S3 Buckets的成本。

有趣的是,EC2 Instance的带宽非常强大。因此,使用真正利用它的协议(如S3或FTP,而不是RDS)更为有趣 - 无能为力。

我希望这对面临同样问题的其他人有用,并为他们节省宝贵的时间。


15



你确定速率只有2000 Kb / s - > 2Mb / s 256 KB / s太低了。一定有某种问题。我通过HTTPS获得的速率约为80 Mb / s(10 MB / s)。 - lmojzis


使用Aspera或Tsunami UDP并将600 MB移动到您的Amazon EC2 infra(跳转框)。然后从跳转盒内部复制到Windows ec2。我的基准测试表明,与传统模式相比,海啸UDP的速度要快得多。


1