Evgeny Pavlov

Я уже давно и постоянно пользуюсь сервисом S3 от компании Amazon. Если по-простому, то это система хранения файлов с относительно низкими ценами (если просто хранить, а не давать другим много скачивать). Я уже давно использую Amazon S3 и как средство для личного резервного копирования, так и для размещения фотографий и других медиафайлов для моего tumblr.

Не так-то и очевидно, как разместить файл на Amazon S3. Во-первых, это не FTP и обычными программами не подключиться. Во-вторых, у Amazon S3 собственная особенная архитектура, состоящая из bucket, объектов (это файлы) и т.п. Поэтому очень важно пользоваться удобной программой, в который бы всё выглядело привычно, как будто бы мы подключились к обычному (s) FTP-серверу. Например, это дополнение к Firefox под названием S3Fox — отличное решение, но, к сожалению, иногда очень медленно работает и не умеет переименовывать файлы.

Недавно мне сказали о новой разработке по работе с сервисом Amazon S3 — CloudBerry Explorer. Хотя он ещё только развивается, но уже умеет очень много:

• Возможность переименовывать объекты (файлы)
• Улучшенная производительность при работе с большим количеством файлом и большими файлами
• Поддержка сервиса streamincloud.com для кодирования видео в FLV на лету для Amazon S3
• Поддержка команд PowerShell
• Регистрация и соединение с любым количеством аккаунтов Amazon S3
• Одновременная работа с любым количеством аккаунтов Amazon S3
• Быстрое копирование между аккаунтами и buckets Amazon S3
• Расшаривание buckets и файлов, расположенных на Amazon S3 с другими пользователями
• Создание, просмотр и удаление S3 buckets
• Копирование и перемещение файлов между Amazon S3 и локальным компьютером
• Установка прав доступа
• Автоматизация рутиных задач с Microsoft PowerShell
• Создание внешних адресов URL
• Перемещение и копирование в фоне
• Поддержка MD5 для проверки файлов во время передачи на S3
• Копирование файлов из проводника Windows
• Поддержка сервиса Amazon CloudFront
• Поддержка CNAME
• Поддержка подписанных адресов URL, а также лимитированных по времени
• Установка списков ACL к дочерним объектам

Большой список возможностей, особенно учитывая, что это бесплатная программа. Теперь о некоторых из этих функций и возможностей подробнее со скриншотами.

Программа работает пока только на Windows. Итак, начнём с первого запуска. Меня попросили зарегистрироваться (зачем это необходимо, мне пока неизвестно):

Регистрация программы CloudBerry Explorer

Сама программа выглядит как любой FTP-клиент: два окна для работы с файлами. С любой стороны можно открыть как локальный диск, так и любой buckets любого зарегистрированного аккаунта Amazon S3.

Вид CloudBerry

Также, как и в S3Fox, можно сохранить параметры сразу же для нескольких аккаунтов Amazon S3, но, в отличие от дополнения Firefox, можно соединиться одновременно с несколькими аккаунтами.

Ввод данных для Amazon S3

Возможность одновременного подключения реализована с помощью вкладок (табов) — точно также, как и в любом браузере:

Вкладки в CloudBerry Explorer

Работа с программой очень проста. При подключении к своему аккаунта сразу можно перейти к buckets:

Список buckets

Самой важной особенностью программы, которую отличают её от других, я считаю возможность переименования объектов, то есть файлов. Мне очень не хватало такой функции ранее:

Переименование объекта в Amazon S3 с помощью CloudBerry Explorer

Стоит отметить и удобство в мелочах. Например, строка адреса реализована так, что папки являются ссылками, нажав на которые можно перейти в данную папку:

Адресная строка в CloudBerry Explorer

Кроме того, можно редактировать права доступа. Например, открыть доступ на запись другому пользователю Amazon. Но я заметил, что CloudBerry Explorer по-умолчанию добавляет пользователя streamincloud для возможности перекодирование видео-файлов в FLV на лету (сервис streamincloud.com). Да, это удобно, но всё-таки странно, что CloudBerry Explorer добавляет всё это самостоятельно:

Редактирование ACL

Очень удобно реализована работа с получением адреса на собственный файл (объект):

Web URL

Затем можно как получить публичный адрес (если права проставлены правильно), так и приватный. Хорошо, что сделали указание домена CNAME, хотя раньше я просто стирал часть адреса:

Создание адреса с CNAME

Также можно создать и адреса со «сроком годности»:

Создание приватной ссылки

В конце отмечу работу с копированием между buckets и различными аккаунтами Amazon S3. Во-первых, это будет бесплатно (при соотвествующей настройке и размещении в одной зоне), во-вторых, это точно так же, как и работа с обычными файлами:

Настройка копирования между Amazon

Теперь я пользуюсь в Windows этой программы для работы со своим аккаунтом Amazon S3. Надеюсь, что CloudBerry Explorer останется бесплатным. Кстати, ещё можно посмотреть из промо-ролик:

Метки: Amazon, Amazon S3, CloudBerry, CloudBerry Explorer, S3 backup, резервное копирование

Недавно я задумался о сохранности своих данных: да, их можно скопировать на внешний жёсткий, а ещё на DVD/CD и т.п. Но у этого способа есть главный для меня недостаток: неудобство. Но почему бы не хранить всё в интернете? Ещё у меня возникла идея о сохранении некоторых файлов в интернете для себя либо для того, чтобы поделится с другими. Итак, явно, что мне требуется какой-то интернет-сервис, который умеет сохранять файлы в интернете, хранить их и быть при этом очень надёжным.

Существует несколько ресурсов, обеспечивающих данный функционал:

• Box.net
• Xdrive
• humyo

Или лучше почитать сравнение этих сервисов (или список 90 онлайн-хранилищ).

Минус этих сервисов в малом объёме бесплатно предоставляемом хранилище и ограничении на размер файлов. Если же брать их платные услуги, то они достаточно дороги для меня: более 7-8$ в месяц.

Поэтому я выбрал Amazon S3. О нём я и буду дальше рассказывать.

Amazon S3 — это сервис компании Amazon (да, это крупнейших в мире интернет-магазин), являющийся частью Amazon Web Services (AWS). S3 расшифровывается как Simple Storage Service, то есть простой сервис хранения данных. Вообще, Amazon создавала AWS и S3 для разработчиков, обеспечив их необходимым инструментарием, API и т.п. для управления данными. Можно добавлять, удалять, получать доступ к файлам и ставить права доступа. Но для меня это является не самым важным. Важна цена:

Хранение
$0,15 за гигабайт в месяц
Передача данных
$0,100 за запись одного гигабайта в систему

$0,170 за гигабайт в первые 10 TB (терабайт) в месяц скачанной информации
$0,130 за гигабайт за следующие 40 TB в месяц скачанной информации
$0,110 за гигабайт за следующие 100 TB в месяц скачанной информации
$0,100 за гигабайтпри превышении 100 TB в месяц скачанной информации
Запросы
$0,01 за 1000 PUT, POST или LIST-запросы
$0,01 за 10000 GET и другие запросы*
* Не учитываются запросы на удаление

— то есть за сохранение одного гигабайта надо заплатить около 3,5 рублей в месяц. Не думаю, что это так дорого, особенно, если сравнивать с упомянутыми выше сервисами. Вот поэтому я и выбрал Amazon S3. Важно отметить, что они гарантируют кроме всего прочего высокую надёжность. Не зря этот сервис выбрали такие крупные сайты как facebook, twitter и tumblr.

Регистрация в системе несложная: достаточно указать e-mail и пароль:

Затем указать информацию о себе. Здесь всё стандартно: данные карты или PayPal. Конечно, необходима международная карта Visa или MasterCard.

После регистрации и её подтверждения стоит зайти на страницу AWS Access Identifiers, чтобы получить специальные ключи для доступа к системе:

Теперь стоит немного рассказать об организации хранения файлов в Amazon S3. По сути, там нет файлов и каталогов в обычном понимании: система содержит множество XML-файлов. Однако, многие программы могут представлять данные так, как это удобнее и привычнее нам. Также стоит упомянуть каталог верхнего уровня (top-level). Это очень важная часть системы. Она имеет даже собственное название: bucket. Это название должно быть уникально вообще во всей системе Amazon S3. Уникально оно потому, так как является идентификатором в системе, к которому можно получить доступ из вне (если настроить необходимые права доступа): http://название_bucket.s3.amazonaws.com

И как же получить доступ к этим bucket и создать наконец своё первое хранилище? Я советую пользоваться отличным бесплатным расширением для Firefox как S3Fox: с помощью него можно делать практически всё (кроме, разве что, переименовывания). Чтобы воспользоваться S3Fox, нам как раз нужны эти самые ключи, о которых я писал выше.

В S3Fox удобно создавать bucket. Причём можно выбирать, где их хранить (но в Европе дороже):

Для каждой папки (в т.ч. и для bucket) можно настроить списки прав доступа (ACL):

Я думаю, что мы немного отошли от нашей главной задачи: создание резервного копирования. И так ясно, что просто перемещать файлы с помощью S3Fox достаточно муторно: нам нужно какое-нибудь автоматизированное решение. И такое есть! Это программа S3 Backup>.