papilio

Записи с меткой «online storage service»

Amazon S3: хранение файлов и backup

Недавно я задумался о сохранности своих данных: да, их можно скопировать на внешний жёсткий, а ещё на DVD/CD и т.п. Но у этого способа есть главный для меня недостаток: неудобство. Но почему бы не хранить всё в интернете? Ещё у меня возникла идея о сохранении некоторых файлов в интернете для себя либо для того, чтобы поделится с другими. Итак, явно, что мне требуется какой-то интернет-сервис, который умеет сохранять файлы в интернете, хранить их и быть при этом очень надёжным.

Существует несколько ресурсов, обеспечивающих данный функционал:

Или лучше почитать сравнение этих сервисов (или список 90 онлайн-хранилищ).

Минус этих сервисов в малом объёме бесплатно предоставляемом хранилище и ограничении на размер файлов. Если же брать их платные услуги, то они достаточно дороги для меня: более 7-8$ в месяц.

Поэтому я выбрал Amazon S3. О нём я и буду дальше рассказывать.

Amazon S3 — это сервис компании Amazon (да, это крупнейших в мире интернет-магазин), являющийся частью Amazon Web Services (AWS). S3 расшифровывается как Simple Storage Service, то есть простой сервис хранения данных. Вообще, Amazon создавала AWS и S3 для разработчиков, обеспечив их необходимым инструментарием, API и т.п. для управления данными. Можно добавлять, удалять, получать доступ к файлам и ставить права доступа. Но для меня это является не самым важным. Важна цена:

Хранение
$0,15 за гигабайт в месяц
Передача данных
$0,100 за запись одного гигабайта в систему

$0,170 за гигабайт в первые 10 TB (терабайт) в месяц скачанной информации
$0,130 за гигабайт за следующие 40 TB в месяц скачанной информации
$0,110 за гигабайт за следующие 100 TB в месяц скачанной информации
$0,100 за гигабайтпри превышении 100 TB в месяц скачанной информации
Запросы
$0,01 за 1000 PUT, POST или LIST-запросы
$0,01 за 10000 GET и другие запросы*
* Не учитываются запросы на удаление

— то есть за сохранение одного гигабайта надо заплатить около 3,5 рублей в месяц. Не думаю, что это так дорого, особенно, если сравнивать с упомянутыми выше сервисами. Вот поэтому я и выбрал Amazon S3. Важно отметить, что они гарантируют кроме всего прочего высокую надёжность. Не зря этот сервис выбрали такие крупные сайты как facebook, twitter и tumblr.

Регистрация в системе несложная: достаточно указать e-mail и пароль:

Amazon S3 Sign In

Затем указать информацию о себе. Здесь всё стандартно: данные карты или PayPal. Конечно, необходима международная карта Visa или MasterCard.

После регистрации и её подтверждения стоит зайти на страницу AWS Access Identifiers, чтобы получить специальные ключи для доступа к системе:

AWS Access Identifiers

Теперь стоит немного рассказать об организации хранения файлов в Amazon S3. По сути, там нет файлов и каталогов в обычном понимании: система содержит множество XML-файлов. Однако, многие программы могут представлять данные так, как это удобнее и привычнее нам. Также стоит упомянуть каталог верхнего уровня (top-level). Это очень важная часть системы. Она имеет даже собственное название: bucket. Это название должно быть уникально вообще во всей системе Amazon S3. Уникально оно потому, так как является идентификатором в системе, к которому можно получить доступ из вне (если настроить необходимые права доступа): http://название_bucket.s3.amazonaws.com

И как же получить доступ к этим bucket и создать наконец своё первое хранилище? Я советую пользоваться отличным бесплатным расширением для Firefox как S3Fox: с помощью него можно делать практически всё (кроме, разве что, переименовывания). Чтобы воспользоваться S3Fox, нам как раз нужны эти самые ключи, о которых я писал выше.

S3Fox

В S3Fox удобно создавать bucket. Причём можно выбирать, где их хранить (но в Европе дороже):

Create Bucket

Для каждой папки (в т.ч. и для bucket) можно настроить списки прав доступа (ACL):

Редактирование ACL

Я думаю, что мы немного отошли от нашей главной задачи: создание резервного копирования. И так ясно, что просто перемещать файлы с помощью S3Fox достаточно муторно: нам нужно какое-нибудь автоматизированное решение. И такое есть! Это программа S3 Backup>.

С помощью S3Fox мы создадим новый каталог-bucket (это можно сделать и в программе S3 Backup), а также поставим все права для себя, а остальным всё запретим. Запускаем S3 Backup и настраиваем, то есть вводим ключи, а также выбираем нужный bucket. Теперь можно создать новое задание (BackupCreate New Job или Ctrl+J), где выбираем каталоги для резервного копирования:

Create New Job

Теперь следует сделать первое копирование, нажав на Backup Now:

Backup Now

Всё! Теперь осталось настроить расписание, и можно не беспокоится за сохранность данных, особенно, если учитывать высокую надёжность S3.

В следующий раз я расскажу о том, как использовать Amazon S3 в качестве собственного файлового хостига (хранение файлов) с собственным доменом.

Я планировал эту статью ещё месяц назад, но так получилось, что сейчас проходит интересный конкурс, так почему бы не поучаствовать?

Метки: , , , , , , ,