Как я могу получить размер ведра Amazon S3?
Я хотел бы рассчитать размер (в байтах и # элемента) ведра Amazon S3 и искать эффективный способ получения данных.
Инструменты s3cmd предоставляют способ получить общий размер файла с помощью s3cmd du s3://bucket_name
, но я беспокоюсь о его способности масштабироваться, поскольку он выглядит так, будто он извлекает данные обо всех файлах и вычисляет собственную сумму. Поскольку Amazon взимает плату с пользователей в GB-Months, кажется странным, что они не раскрывают это значение напрямую.
Хотя API REST Amazon возвращает количество элементов в ведре, s3cmd , похоже, не раскрывает его. Я мог бы сделать s3cmd ls -r s3://bucket_name | wc -l
, но это похоже на взлом.
Библиотека Ruby AWS :: S3 выглядела многообещающей, но она содержит только # элементов ковша, а не общий размер ведра.
Кто-нибудь знает какие-либо другие инструменты или библиотеки командной строки (предпочитают Perl, PHP, Python или Ruby), которые предоставляют способы получения этих данных?
25 ответов
CLI AWS теперь поддерживает параметр --query
, который принимает выражения JMESPath .
Это означает, что вы можете суммировать значения размера, заданные list-objects
, используя sum(Contents[].Size)
и считать как length(Contents[])
.
Это можно запустить с помощью официального AWS CLI, как показано ниже, и был представлен в Feb 2014
aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"
Теперь это можно сделать тривиально только с официальным клиентом командной строки AWS:
aws s3 ls --summarize --human-readable --recursive s3://bucket-name/
Это также принимает префиксы пути, если вы не хотите считать все ведро:
aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory
s3cmd может сделать это:
s3cmd du s3://bucket-name
Консоль AWS:
От 28-й от июля 2015 года вы можете получить эту информацию через CloudWatch . Если вы хотите использовать графический интерфейс, перейдите в консоль CloudWatch : (выберите Region>) Метрики> ; S3
Команда CLS AWS:
Это намного быстрее, чем некоторые другие команды, размещенные здесь, поскольку он не запрашивает размер каждого файла отдельно для вычисления суммы.
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage
Важно . В аргументе измерений вы должны указать как StorageType, так и BucketName, иначе вы не получите никаких результатов. Все, что вам нужно изменить, это --start-date
, --end-time
и Value=toukakoukan.com
.
Вот сценарий bash, который вы можете использовать, чтобы не указывать вручную --start-date
и --end-time
.
#!/bin/bash
bucket=$1
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage
Если вы загрузите использование отчета , вы можете графически отображать ежедневные значения для поля TimedStorage-ByteHrs
.
Если вы хотите это число в GiB, просто разделите его на 1024 * 1024 * 1024 * 24
(это часы GiB для 24-часового цикла). Если вы хотите число в байтах, просто разделите его на 24 и нарисуйте.
Использование официальных инструментов командной строки AWS s3:
aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'
s4cmd - самый быстрый способ, который я нашел (утилита командной строки, написанная на Python):
pip install s4cmd
Теперь, чтобы вычислить весь размер ковша с помощью нескольких потоков:
s4cmd du -r s3://bucket-name
Я использовал S3 REST /Curl API , указанный ранее в этом потоке, и сделал следующее:
<?php
if (!class_exists('S3')) require_once 'S3.php';
// Instantiate the class
$s3 = new S3('accessKeyId', 'secretAccessKey');
S3::$useSSL = false;
// List your buckets:
echo "S3::listBuckets(): ";
echo '<pre>' . print_r($s3->listBuckets(), 1). '</pre>';
$totalSize = 0;
$objects = $s3->getBucket('name-of-your-bucket');
foreach ($objects as $name => $val) {
// If you want to get the size of a particular directory, you can do
// only that.
// if (strpos($name, 'directory/sub-directory') !== false)
$totalSize += $val['size'];
}
echo ($totalSize / 1024 / 1024 / 1024) . ' GB';
?>
Таким образом, перемещаясь по API и выполняя одни и те же запросы, S3 будет производить все содержимое ковша в одном запросе, и ему не нужно спускаться в каталоги. Затем результаты просто требуют суммирования через различные элементы XML, а не повторных вызовов. У меня нет образцового ведра с тысячами элементов, поэтому я не знаю, насколько он будет масштабироваться, но он кажется достаточно простым.
... Немного поздно, но лучший способ я нашел, используя отчеты на портале AWS. Я сделал класс PHP для загрузки и анализа отчетов. С его помощью вы можете получить общее количество объектов для каждого ведра, общий размер в GB или байт hrs и более.
Проверьте это и дайте мне знать, если было полезно
Вы можете использовать служебную программу s3cmd, например:
s3cmd du -H s3://Mybucket
97G s3://Mybucket/
Я рекомендую использовать отчет использования S3 для больших ведер , см. my How To о том, как его получить В основном вам нужно загрузить отчет об использовании для службы S3 за последний день с помощью Timed Storage - Byte Hrs и проанализировать его для использования диска.
cat report.csv | awk -F, '{printf "%.2f GB %s %s \n", $7/(1024**3 )/24, $4, $2}' | sort -n
Для действительно низкотехнологичного подхода: используйте клиент S3, который может рассчитать размер для вас. Я использую Передачу Паники, нажимаю на ведро, делаю «Получить информацию» и нажимаю кнопку «Рассчитать». Я не уверен, насколько это быстро или точно по отношению к другим методам, но, похоже, возвращает размер, который я ожидал.
Документация AWS сообщает вам, как это сделать:
aws s3 ls s3://bucketnanme --recursive --human-readable --summarize
Это результат, который вы получаете:
2016-05-17 00:28:14 0 Bytes folder/
2016-05-17 00:30:57 4.7 KiB folder/file.jpg
2016-05-17 00:31:00 108.9 KiB folder/file.png
2016-05-17 00:31:03 43.2 KiB folder/file.jpg
2016-05-17 00:31:08 158.6 KiB folder/file.jpg
2016-05-17 00:31:12 70.6 KiB folder/file.png
2016-05-17 00:43:50 64.1 KiB folder/folder/folder/folder/file.jpg
Total Objects: 7
Total Size: 450.1 KiB
Поскольку есть так много ответов, я подумал, что смогу использовать свое. Я написал свою реализацию на C #, используя LINQPad. Скопируйте, вставьте и введите ключ доступа, секретный ключ, конечную точку региона и имя ведра, которое вы хотите запросить. Кроме того, не забудьте добавить пакет AWSSDK nuget.
Тестирование против одного из моих ковшей, это дало мне счет 128075 и размер 70,6 ГБ. Я знаю, что точность 99,9999% точная, поэтому я хорош с результатом.
void Main() {
var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
var stop = false;
var objectsCount = 0;
var objectsSize = 0L;
var nextMarker = string.Empty;
while (!stop) {
var response = s3Client.ListObjects(new ListObjectsRequest {
BucketName = "",
Marker = nextMarker
});
objectsCount += response.S3Objects.Count;
objectsSize += response.S3Objects.Sum(
o =>
o.Size);
nextMarker = response.NextMarker;
stop = response.S3Objects.Count < 1000;
}
new {
Count = objectsCount,
Size = objectsSize.BytesToString()
}.Dump();
}
static class Int64Extensions {
public static string BytesToString(
this long byteCount) {
if (byteCount == 0) {
return "0B";
}
var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
var longBytes = Math.Abs(byteCount);
var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
var number = Math.Round(longBytes / Math.Pow(1024, place), 1);
return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
}
}
Я знаю, что это старый вопрос, но вот пример PowerShell:
Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}
$A
содержит размер ведра, и есть параметр keyname, если вы просто хотите размер определенной папки в ковше.
Эй, есть инструмент поиска metdata для AWS S3 на https://s3search.p3-labs.com /. Этот инструмент предоставляет statstics об объектах в ведре с поиском по метаданным.
Также Hanzo S3 Tools делает это. После установки вы можете:
s3ls -s -H bucketname
Но я считаю, что это также суммируется на стороне клиента и не извлекается через API AWS.
В программе Cloudberry также можно указать размер ведра, количество папок и общее количество файлов , щелкнув «свойства» прямо над ведром.
Если вы не хотите использовать командную строку, в Windows и OSX есть приложение для удаленного управления файлами общего назначения, называемое Cyberduck . Войдите в S3 с помощью пары доступа /секретного ключа, щелкните правой кнопкой мыши по каталогу, нажмите Calculate
.
Я написал сценарий Bash, s3-du.sh, который будет перечислять файлы в ведре с помощью s3ls и печатать количество файлов и размеры, такие как
s3-du.sh testbucket.jonzobrist.com
149 files in bucket testbucket.jonzobrist.com
11760850920 B
11485205 KB
11216 MB
10 GB
Полный скрипт:
#!/bin/bash
if [ “${1}” ]
then
NUM=0
COUNT=0
for N in `s3ls ${1} | awk ‘{print $11}’ | grep [0-9]`
do
NUM=`expr $NUM + $N`
((COUNT++))
done
KB=`expr ${NUM} / 1024`
MB=`expr ${NUM} / 1048576`
GB=`expr ${NUM} / 1073741824`
echo “${COUNT} files in bucket ${1}”
echo “${NUM} B”
echo “${KB} KB”
echo “${MB} MB”
echo “${GB} GB”
else
echo “Usage : ${0} s3-bucket”
exit 1
fi
Он делает размер подкаталога, так как Amazon возвращает имя каталога и размер всего содержимого.
Чтобы проверить размер всех ведер, попробуйте этот сценарий bash
s3list=`aws s3 ls | awk '{print $3}'`
for s3dir in $s3list
do
echo $s3dir
aws s3 ls "s3://$s3dir" --recursive --human-readable --summarize | grep "Total Size"
done
Вы можете использовать s3cmd
:
s3cmd du s3://Mybucket -H
или
s3cmd du s3://Mybucket --human-readable
Он дает общие объекты и размер ведра в очень читаемой форме.
Следующим образом использует AWS PHP SDK, чтобы получить общий размер ведра.
// make sure that you are using correct region (where the bucket is) to get new Amazon S3 client
$client = \Aws\S3\S3Client::factory(array('region' => $region));
// check if bucket exists
if (!$client->doesBucketExist($bucket, $accept403 = true)) {
return false;
}
// get bucket objects
$objects = $client->getBucket(array('Bucket' => $bucket));
$total_size_bytes = 0;
$contents = $objects['Contents'];
// iterate through all contents to get total size
foreach ($contents as $key => $value) {
$total_bytes += $value['Size'];
}
$total_size_gb = $total_size_bytes / 1024 / 1024 / 1024;
Это работает для меня ..
aws s3 ls s3://bucket/folder/ --recursive | awk '{sz+=$3} END {print sz/1024/1024 "MB"}'