Почему загрузка на S3 настолько медленная?

Я использую s3cmd для загрузки на S3:

# s3cmd put 1gb.bin s3://my-bucket/1gb.bin
1gb.bin -> s3://my-bucket/1gb.bin  [1 of 1]
  366706688 of 1073741824    34% in  371s   963.22 kB/s

Я загружаю из Linode, у которого есть исходящая пропускная способность 50 Мбит /с в соответствии с поддержкой (примерно 6 МБ /с).

Почему я получаю такие медленные скорости загрузки до S3 и как их улучшить?


Update:

Загрузка одного и того же файла через SCP в экземпляр m1.medium EC2 (SCP с моего Linode на диск EBS экземпляра) дает около 44 Мбит /с в соответствии с iftop (любое сжатие, выполняемое шифром, не является фактором).


Трассировка: Вот трассировка на сервер, на который он загружается (в соответствии с tcpdump).

# traceroute s3-1-w.amazonaws.com.
traceroute to s3-1-w.amazonaws.com. (72.21.194.32), 30 переходов макс, 60 байтовых пакетов
 1 207.99.1.13 (207.99.1.13) 0.635 мс 0.743 мс 0.723 мс
 2 207.99.53.41 (207.99.53.41) 0.683 мс 0.865 мс 0.915 мс
 3 vlan801.tbr1.mmu.nac.net (209.123.10.9) 0.397 мс 0,541 мс 0,527 мс
 4 0.e1-1.tbr1.tl9.nac.net (209.123.10.102) 1.400 мс 1.481 мс 1.508 мс
 5 0.gi-0-0-0.pr1.tl9.nac.net (209.123.11.62) 1.602 мс 1.677 мс 1.699 мс
 6 equinix02-iad2.amazon.com (206.223.115.35) 9.393 мс 8.925 мс 8.900 мс
 7 72,21,220,41 (72,21,220,41) 32,610 мс 9,812 мс 9,789 мс
 8 72,21,222,141 (72,21,222,141) 9,519 мс 9,439 мс 9,443 мс
 9 72,21,218,3 (72,21,218,3) 10,245 мс 10,202 мс 10,144 мс
10 * * *
11 * * *
12 * * *
13 * * *
14 * * *
15 * * *
16 * * *
17 * * *
18 * * *
19 * * *
20 * * *
21 * * *
22 * * *
23 * * *
24 * * *
25 * * *
26 * * *
27 * * *
28 * * *
29 * * *
30 * * *

Задержка выглядит разумной, по крайней мере, пока сервер не перестанет отвечать на запросы ping.

12 голосов | спросил Tom Marthenal 8 PMpSun, 08 Apr 2012 21:40:03 +040040Sunday 2012, 21:40:03

3 ответа


9

Просто потому, что вы можете подняться до 50 Мбит /с, это не значит, что вы всегда получите 50 Мбит /с; Сетевой путь к S3, а также задержка также важны.

Если вы можете использовать многокомпонентную загрузку, вы сможете разбить файл на несколько частей и загрузить его с помощью нескольких потоков, что может увеличить скорость загрузки.

ответил gekkz 8 PMpSun, 08 Apr 2012 21:49:06 +040049Sunday 2012, 21:49:06
10

На всякий случай кто-то наткнется на это.

У меня была проблема, когда было очень медленно загружать из экземпляра ec2 в ведро s3, оказалось очень просто, область ведра! Я использовал экземпляры ec2 в северной Калифорнии, когда ведро было создано как стандарт, было очень медленным для переноса, а ведро, установленное на северную калифорнию, было быстрее.

ответил rabs 21 32012vEurope/Moscow11bEurope/MoscowWed, 21 Nov 2012 07:35:58 +0400 2012, 07:35:58
1

Я видел много потоков на форуме о медленной загрузке на S3 с использованием различных клиентов, таких как бесплатные инструменты командной строки (написанные на Python, btw) и коммерческие.

Хотя у меня нет убедительных доказательств для вас, переключение S3-клиента (например, Cloud Berry Explorer) может решить вашу проблему. Попытайся! :)

ответил Valentin 8 PMpSun, 08 Apr 2012 22:58:55 +040058Sunday 2012, 22:58:55

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132