Amazon S3: хранение файлов и backup
Коммент.(29) Недавно я задумался о сохранности своих данных: да, их можно скопировать на внешний жёсткий, а ещё на DVD/CD и т.п. Но у этого способа есть главный для меня недостаток: неудобство. Но почему бы не хранить всё в интернете? Ещё у меня возникла идея о сохранении некоторых файлов в интернете для себя либо для того, чтобы поделится с другими. Итак, явно, что мне требуется какой-то интернет-сервис, который умеет сохранять файлы в интернете, хранить их и быть при этом очень надёжным.
Существует несколько ресурсов, обеспечивающих данный функционал:
Или лучше почитать сравнение этих сервисов (или список 90 онлайн-хранилищ).
Минус этих сервисов в малом объёме бесплатно предоставляемом хранилище и ограничении на размер файлов. Если же брать их платные услуги, то они достаточно дороги для меня: более 7-8$ в месяц.
Поэтому я выбрал Amazon S3. О нём я и буду дальше рассказывать.
Amazon S3 — это сервис компании Amazon (да, это крупнейших в мире интернет-магазин), являющийся частью Amazon Web Services (AWS). S3 расшифровывается как Simple Storage Service, то есть простой сервис хранения данных. Вообще, Amazon создавала AWS и S3 для разработчиков, обеспечив их необходимым инструментарием, API и т.п. для управления данными. Можно добавлять, удалять, получать доступ к файлам и ставить права доступа. Но для меня это является не самым важным. Важна цена:
Хранение
$0,15 за гигабайт в месяц
Передача данных
$0,100 за запись одного гигабайта в систему$0,170 за гигабайт в первые 10 TB (терабайт) в месяц скачанной информации
$0,130 за гигабайт за следующие 40 TB в месяц скачанной информации
$0,110 за гигабайт за следующие 100 TB в месяц скачанной информации
$0,100 за гигабайтпри превышении 100 TB в месяц скачанной информации
Запросы
$0,01 за 1000 PUT, POST или LIST-запросы
$0,01 за 10000 GET и другие запросы*
* Не учитываются запросы на удаление
— то есть за сохранение одного гигабайта надо заплатить около 3,5 рублей в месяц. Не думаю, что это так дорого, особенно, если сравнивать с упомянутыми выше сервисами. Вот поэтому я и выбрал Amazon S3. Важно отметить, что они гарантируют кроме всего прочего высокую надёжность. Не зря этот сервис выбрали такие крупные сайты как facebook, twitter и tumblr.
Регистрация в системе несложная: достаточно указать e-mail и пароль:
Затем указать информацию о себе. Здесь всё стандартно: данные карты или PayPal. Конечно, необходима международная карта Visa или MasterCard.
После регистрации и её подтверждения стоит зайти на страницу AWS Access Identifiers, чтобы получить специальные ключи для доступа к системе:
Теперь стоит немного рассказать об организации хранения файлов в Amazon S3. По сути, там нет файлов и каталогов в обычном понимании: система содержит множество XML-файлов. Однако, многие программы могут представлять данные так, как это удобнее и привычнее нам. Также стоит упомянуть каталог верхнего уровня (top-level). Это очень важная часть системы. Она имеет даже собственное название: bucket. Это название должно быть уникально вообще во всей системе Amazon S3. Уникально оно потому, так как является идентификатором в системе, к которому можно получить доступ из вне (если настроить необходимые права доступа): http://название_bucket.s3.amazonaws.com
И как же получить доступ к этим bucket и создать наконец своё первое хранилище? Я советую пользоваться отличным бесплатным расширением для Firefox как S3Fox: с помощью него можно делать практически всё (кроме, разве что, переименовывания). Чтобы воспользоваться S3Fox, нам как раз нужны эти самые ключи, о которых я писал выше.
В S3Fox удобно создавать bucket. Причём можно выбирать, где их хранить (но в Европе дороже):
Для каждой папки (в т.ч. и для bucket) можно настроить списки прав доступа (ACL):
Я думаю, что мы немного отошли от нашей главной задачи: создание резервного копирования. И так ясно, что просто перемещать файлы с помощью S3Fox достаточно муторно: нам нужно какое-нибудь автоматизированное решение. И такое есть! Это программа S3 Backup>.
С помощью S3Fox мы создадим новый каталог-bucket (это можно сделать и в программе S3 Backup), а также поставим все права для себя, а остальным всё запретим. Запускаем S3 Backup и настраиваем, то есть вводим ключи, а также выбираем нужный bucket. Теперь можно создать новое задание (Backup → Create New Job или Ctrl+J), где выбираем каталоги для резервного копирования:
Теперь следует сделать первое копирование, нажав на Backup Now:
Всё! Теперь осталось настроить расписание, и можно не беспокоится за сохранность данных, особенно, если учитывать высокую надёжность S3.
В следующий раз я расскажу о том, как использовать Amazon S3 в качестве собственного файлового хостига (хранение файлов) с собственным доменом.
Я планировал эту статью ещё месяц назад, но так получилось, что сейчас проходит интересный конкурс, так почему бы не поучаствовать?
Связанные записи:
- CloudBerry Explorer — работать с Amazon S3 стало проще Я уже давно и постоянно пользуюсь сервисом S3 от компании...
Привет, порадовала заметка. Есть вопрос платного характера — у меня типография и мне нужно принимать от клиентов большие файлы. Думаю С3 было бы хорошим решением... но кто все сделает?
Можно было тебе заказать работу? (сделать так чтобы клиенты могли нигде не регистрируясь просто закачивать свои файлы в нужную папку?)
Заметка нормальная,прочитал с удовольствием:)
Интересная публикация, про S3 уже слышал, но не нашёл описания технологии хранения, поэтому не вшытрило — а вдруг они хранят в одном экземпляре данные? С Гуглом, например, всё ясно — каждый кусок данных на трёх компах их кластерной системы.
И ещё вопрос: откуда информация про то, что услугами S3 пользуются Фликр, Фейсбук и другие?
Amazon тесно сотрудничает с Facebook: как я понял, Amazon хранит их приложения. Про flickr я не упоминал, так как у Yahoo и так хорошо всё с серверами, а вот tumblr и twitter активно пользуются S3. Это легко увидеть, если посмотреть ссылки аватар на твиттере, которые начинаются с s3.amazonaws.com. Аналогично и с tumblr: видно, что медиа-файлы грузятся с S3.
Про архитектуру нормальной и интересной статьи пока не нашёл. Как найду, напишу :)
Упс, извиняюсь за фликр, всё смазалось в голове, пока дочитал...
Кстати, ты тогда в комменте сказал так: «написал пока только про S3»... Т. е. ты ещё какие-то бекап-решения используешь?
Да, я хотел ещё написать про GDrive, но о нём уже все знают :) правда я хотел сделать упор на Google Apps.
А про архитектуру... такое ощущение, что они скрывают детали. Тем не менее, нашёл достаточно интересный блог разработчиков: http://aws.typepad.com
Они используют Cloud Service Architecture: по этому запросу можно много в Google интересного найти :)
S3 удобен, но не так как DropBOX, www.Getdropbox.com. и на 2 gb он бесплатен. Успехов!
community.livejournal.com/ru_mac/7345318.html Invites раздают здесь.
Я не нашёл на их сайте, что сколько стоит...
Что значит — с ценой они еще разобрались до конца, потому и не представили еще расценок.
У новых пользователей после выхода ресурса из Beta в любом случае будет 1Gb Free. У тех же кто стал работать с ресурсом при Betа тестировании, останутся их 2gb, которые им были предоставлены при регистрации.
Привет!
Реализовывал задачку по хранению мультимедиа контента на S3 для одного детского сада находящегося в Нью-Йорке и о деньгах не задумывался так как платил клиент. S3 очень удобный сервис для хранения большого количества данных, но надо отметить что здесь указаны американские цены для Европы $0.18 per GB-Month of storage used, впрочем действительно не дорого. Но смущает другое, предположим у меня там будет очень много объектов в размере 100 TB и каждый день 1000 посетителей будут совершать запросов в общей сложности 1 000 000 (PUT, POST) раз в размере 100 ГB, сколько же тогда надо будет платить каждый месяц? Чего-то у меня много получается.
Ruben прав по поводу запросов. Приходилось создавать систему бекапов на основе S3. Копирование 300Мб небольших файлов приводило к генерации нескольких десятков тысячь PUT запросов (примерно по кол-ву файлов). И по деньгам запросы обходились дороже трафика и месячной аренды. Но самое печальное это скорость работы с большим количеством маленьких файлов. Пришлось вводить промежуточный уровень — создание файловых архивов. Если же файлов мало — то все пучком.
А в качестве интернет хранилища для дома советую посмотреть на who.hasfiles.com
Я только так и непонял как там зарегестрироваться. Зарегился ввел данные свое карты и дальше чего? подтвердил и email и открытие s3 но как перевести деньги?
И еще дополнение на винду незахотело нормально работать(ff 2.0.0.16). на линухе пошло (ff 3.0)
Деньги снимают в конце месяца.
Спасибо за ответ!!!
Все заработало. Только несмотрел — сняли деньги вначале или нет. Я непойму неужели у них послеоплата за услуги. Сколько использовал — столько в конце месяца они возьмут?
------------------
Жаль что клиента хорошего нет
Да, постоплата. Снимают столько сколько использовал с округлением до цента по каждой услуге.
Еще могут 1$ снять при регистрации для проверки карты. Но потом он зачтется.
Текущую задолженность можно посмотреть из аккаунта «Your web services account» --> «AWS account activity».
Прикольный у тебя блог. Хорошие статьи.
Напиши уже поскорей про API к s3 на php
Статья помогла разобраться с сервисом. Ждём продолжения относительно API к s3 на php!
2dt
Я так и не понял, сколько стоит платный аккаунт на who.hasfiles.com
1$ за Гб.
Платишь 5$ и пользуешьбся 1Гб 5 месяцев.
Как то так.
www.xdrive.com
Упомянут был этот ресурс, но оказалось, что его закрыли 12.01.09, буквально только что. Навсегда. Увы...
On January 12, 2009, AOL will permanently close
the Xdrive Online Storage Service.
Сейчас присматриваюсь к Humyo :)
А кстати расскажите про опыт использования GSpace, были ли удаления аккаунтов, потери данных?
Коллеги,
пользуйтесь бесплатным клиентом для Amazon S3 — CloudBerry Explorer. cloudberrylab.com
CloudBerry — только для виндовз
:(
Ты написал что «В следующий раз я расскажу о том, как использовать Amazon S3 в качестве собственного файлового хостига (хранение файлов) с собственным доменом.»
Но что то так и не нашел у тебя на сайте!
я залил на Амазон статический сайт su.dp.ua, но главная страница не работает, хотя когда в адресе ввожу su.dp.ua/index.htm то все работает.
Как исправить проблему???
dragondisk прост в использовании : www.dragondisk.com