papilio

Архив на May, 2008

Google App Engine открыт теперь для всех

Блог Google System сообщил о том, что теперь Google App Engine (GAE) открыт для всех разработчиков. GAE позволяет создавать практически любые web-приложения с лёгким масштабированием.

Google App Engine

Бесплатно Google предоставляет 500 Mb свободного места и процессорной мощности на пять миллионов просмотров страниц в месяц. Скоро (или уже?) появятся и платные услуги:

$0.10 — $0.12 per CPU core-hour
$0.15 — $0.18 per GB-month of storage
$0.11 — $0.13 per GB outgoing bandwidth
$0.09 — $0.11 per GB incoming bandwidth

— что очень похоже на Amazon, о котором я недавно писал.

Я уже активировал себе GAE. Большой плюс для тех, кто пользуется Google Apps (Службы Google): можно привязать GAE к своему домену.

Google App Engine in Google Apps

Я уже придумал, что сделаю — это, скорее всего, будет что-то связанное с проектом Face Detection. Писать же пока можно только на питоне, который я совершенно не знаю, но от этого ещё более интересно что-то делать.

Можно использовать и фреймворк Django. Нашёл интересные статьи для быстрого старта:

Хоть Google и обещает сделать поддержку и других языков, но чем питон плох? Буду изучать!

Метки: , , , , , ,

Amazon S3: хранение файлов и backup

Недавно я задумался о сохранности своих данных: да, их можно скопировать на внешний жёсткий, а ещё на DVD/CD и т.п. Но у этого способа есть главный для меня недостаток: неудобство. Но почему бы не хранить всё в интернете? Ещё у меня возникла идея о сохранении некоторых файлов в интернете для себя либо для того, чтобы поделится с другими. Итак, явно, что мне требуется какой-то интернет-сервис, который умеет сохранять файлы в интернете, хранить их и быть при этом очень надёжным.

Существует несколько ресурсов, обеспечивающих данный функционал:

Или лучше почитать сравнение этих сервисов (или список 90 онлайн-хранилищ).

Минус этих сервисов в малом объёме бесплатно предоставляемом хранилище и ограничении на размер файлов. Если же брать их платные услуги, то они достаточно дороги для меня: более 7-8$ в месяц.

Поэтому я выбрал Amazon S3. О нём я и буду дальше рассказывать.

Amazon S3 — это сервис компании Amazon (да, это крупнейших в мире интернет-магазин), являющийся частью Amazon Web Services (AWS). S3 расшифровывается как Simple Storage Service, то есть простой сервис хранения данных. Вообще, Amazon создавала AWS и S3 для разработчиков, обеспечив их необходимым инструментарием, API и т.п. для управления данными. Можно добавлять, удалять, получать доступ к файлам и ставить права доступа. Но для меня это является не самым важным. Важна цена:

Хранение
$0,15 за гигабайт в месяц
Передача данных
$0,100 за запись одного гигабайта в систему

$0,170 за гигабайт в первые 10 TB (терабайт) в месяц скачанной информации
$0,130 за гигабайт за следующие 40 TB в месяц скачанной информации
$0,110 за гигабайт за следующие 100 TB в месяц скачанной информации
$0,100 за гигабайтпри превышении 100 TB в месяц скачанной информации
Запросы
$0,01 за 1000 PUT, POST или LIST-запросы
$0,01 за 10000 GET и другие запросы*
* Не учитываются запросы на удаление

— то есть за сохранение одного гигабайта надо заплатить около 3,5 рублей в месяц. Не думаю, что это так дорого, особенно, если сравнивать с упомянутыми выше сервисами. Вот поэтому я и выбрал Amazon S3. Важно отметить, что они гарантируют кроме всего прочего высокую надёжность. Не зря этот сервис выбрали такие крупные сайты как facebook, twitter и tumblr.

Регистрация в системе несложная: достаточно указать e-mail и пароль:

Amazon S3 Sign In

Затем указать информацию о себе. Здесь всё стандартно: данные карты или PayPal. Конечно, необходима международная карта Visa или MasterCard.

После регистрации и её подтверждения стоит зайти на страницу AWS Access Identifiers, чтобы получить специальные ключи для доступа к системе:

AWS Access Identifiers

Теперь стоит немного рассказать об организации хранения файлов в Amazon S3. По сути, там нет файлов и каталогов в обычном понимании: система содержит множество XML-файлов. Однако, многие программы могут представлять данные так, как это удобнее и привычнее нам. Также стоит упомянуть каталог верхнего уровня (top-level). Это очень важная часть системы. Она имеет даже собственное название: bucket. Это название должно быть уникально вообще во всей системе Amazon S3. Уникально оно потому, так как является идентификатором в системе, к которому можно получить доступ из вне (если настроить необходимые права доступа): http://название_bucket.s3.amazonaws.com

И как же получить доступ к этим bucket и создать наконец своё первое хранилище? Я советую пользоваться отличным бесплатным расширением для Firefox как S3Fox: с помощью него можно делать практически всё (кроме, разве что, переименовывания). Чтобы воспользоваться S3Fox, нам как раз нужны эти самые ключи, о которых я писал выше.

S3Fox

В S3Fox удобно создавать bucket. Причём можно выбирать, где их хранить (но в Европе дороже):

Create Bucket

Для каждой папки (в т.ч. и для bucket) можно настроить списки прав доступа (ACL):

Редактирование ACL

Я думаю, что мы немного отошли от нашей главной задачи: создание резервного копирования. И так ясно, что просто перемещать файлы с помощью S3Fox достаточно муторно: нам нужно какое-нибудь автоматизированное решение. И такое есть! Это программа S3 Backup>.

С помощью S3Fox мы создадим новый каталог-bucket (это можно сделать и в программе S3 Backup), а также поставим все права для себя, а остальным всё запретим. Запускаем S3 Backup и настраиваем, то есть вводим ключи, а также выбираем нужный bucket. Теперь можно создать новое задание (BackupCreate New Job или Ctrl+J), где выбираем каталоги для резервного копирования:

Create New Job

Теперь следует сделать первое копирование, нажав на Backup Now:

Backup Now

Всё! Теперь осталось настроить расписание, и можно не беспокоится за сохранность данных, особенно, если учитывать высокую надёжность S3.

В следующий раз я расскажу о том, как использовать Amazon S3 в качестве собственного файлового хостига (хранение файлов) с собственным доменом.

Я планировал эту статью ещё месяц назад, но так получилось, что сейчас проходит интересный конкурс, так почему бы не поучаствовать?

Метки: , , , , , , ,

Настройте SPF запись для своего домена

Оказывается, что Google может отключить ваш аккаунт в Службах Google (Google Apps) из-за, например, спама, маскирующегося под ваш адрес (то есть по сути от вашего имени рассылается спам другим).

Всё это легко исправить, если настроить Sender Policy Framework для вашего домена. В справке Google написаны все инструкции по настройке SPF:

Записи Sender Policy Framework (SPF) позволяют владельцам доменов указывать, какие хосты имеют право отправлять электронную почту от имени их доменов, затрудняя подделку адресов отправителей. Мы настоятельно рекомендуем Вам публиковать записи SPF для своего домена, так как они помогают бороться со спамом.

Чтобы задать запись SPF для домена, опубликуйте следующую запись ТХТ в ресурсе DNS: v=spf1 include:aspmx.googlemail.com ~all.

Просто добавьте TXT запись

v=spf1 include:aspmx.googlemail.com ~all

— это можно сделать в управление зоной вашего домена.

Google SPF

Ссылки по теме:

Метки: , , , , ,

Установка Ubuntu 8.04 на ASUS Eee PC

Обновление: есть новая запись об установке Ubuntu 8.10 на Eee PC.

Прошло уже больше недели после выхода нового релиза хорошей системы Ubuntu, а только сейчас я решился поставить её на свой Eee PC. Сначала я попытался просто обновиться встроенной системой обновления на новую версию, но Ubuntu запросила аж более 1600 Mb свободного места, которого, конечно, у меня не было. Да, я мог бы подключить флэшку или что-то подобное, но я решился обновиться с нуля, так как после различных экспериментов система была слишком загажена.

Итак, сделав всего лишь несколько простых шагов, у нас будет Ubuntu 8.04 на Eee PC.

Устанавливать будем с флэшки (или SD). Подготавливать будем всё в Windows. Конечно же всё можно сделать и в линукс, но об этом я уже писал в статье по установке Ubuntu 7.04: подготовка носителя для установки полностью аналогична.

Подготовка:

  1. Скачиваем ISO-образ Live CD Ubuntu 8.04.
  2. Форматируем флэшку (быстрое форматирование)
  3. Переносим всё содержимое ISO-файла на флэшку. Открываем .iso как обычный архив (это умеет делать бесплатный менеджер в архиваторе 7-zip).
  4. Переписываем всё содержимое из папки isolinux в корень флэшки. Потом удаляем уже пустую папку isolinux.
  5. Удаляем файл isolinux.bin и переименовываем isolinux.cfg в syslinux.cfg (в корне флэшки).
  6. Скачиваем последнюю версию Syslinux.zip с сайта http://www.kernel.org/pub/linux/utils/boot/syslinux/ и распаковываем в любую папку.
  7. Открываем командную строку Win+R → cmd и выполняем:
    c:\syslinuxXXX\win32\syslinux -ma G:
    где c:\syslinuxXXX\ — папка, в которую вы распаковали syslinux, а G: — буква вашей флэшки. В итоге содержимое флэшки должно выглядеть так:
Содержимое флэшки с Ubuntu

На этом этап подготовки закончился. Теперь вставляем флэшку (или SD-карту) в Eee PC.

Установка:

  1. Включаем Eee PC. После появления приветствия Asus нажимаем клавишу Esc и выбираем загрузку с флэшки (или с SD-карты, если вы всё подготовили на ней).
  2. При появлении привествия boot: нажимаем Enter.
  3. Ждём загрузки Live-системы. После загрузки заходим System → Preference → Appearance → Visual Effects → None, чтобы отключить эффекты на время установки. Теперь можно перемещать окна по экрану (и за экран), удерживая Alt и правую кнопку мыши.
  4. Запускаем ярлык установки с рабочего стола. Выбираем русский язык и т.п. При предложении установки о разбиении диска выбираем самостоятельную настройку (Manual). Если у вас один раздел (4 Gb), то делайте его с файловой системой reiserfs и точкой монтирования /. Если же у вас два раздела (примерно по 2 Gb), то удаляйте оба, а в получившимся одном также выбирайте reiserfs и точку монтирования /. Конечно, ничего не делайте с разделом BOOT, размером около 8 Mb.
  5. Всё! Можно запускать установку. После окончания перезагружаем Eee PC.

Настройка:

  1. Подключаем Eee PC к Ethernet сети, то есть к интернету.
  2. Теперь стоит запустить всего лишь один скрипт, который закачает все необходимые модули, настроит Wi-Fi и рабочее окружении GNOME, а также заставить работать Fn-кнопки и звук. Открываем терминал и вводим:
    wget http://eee.ricey.co.uk/files/eee/RiceeeyTweak.sh
    chmod +x RiceeeyTweak.sh
    ./RiceeeyTweak.sh
  3. Перезагружаем Eee PC.
  4. Открываем терминал...
    sudo gedit /etc/fstab
    ...удаляем строчку, содержащую CD-ROM
  5. Если есть проблемы с монтированием и размонтированием SD-карт, то открываем файл
    sudo gedit /etc/init.d/umountfs

    и добавляем строчку в конец файла

    eject /dev/sdb1

    сразу после

    }
     
    case "$1" in
      start)
            # No-op
            ;;
      restart|reload|force-reload)
            echo "Error: argument '$1' not supported" >&2
            exit 3
            ;;
      stop)
            do_stop
            ;;
      *)
            echo "Usage: $0 start|stop" >&2
            exit 3
            ;;
    esac
     
    :
  6. Теперь можно чуть ускорить загрузку Ubuntu. Открываем
    sudo gedit /boot/grub/menu.lst

    и находим в конце файла

    quiet

    и удаляем везде это слово. То есть, если было

    kernel           /boot/vmlinuz-2.6.24-16-generic root=UUID=(что-то) ro quiet splash

    то должно стать

    kernel           /boot/vmlinuz-2.6.24-16-generic root=UUID=(что-то) ro splash
  7. Перезагружаем Eee PC.
  8. Вот и всё!

Чтобы этот раздел был всегда в актуальном состоянии, проверяйте, пожалуйста, страницу http://wiki.eeeuser.com/installing_ubuntu_8.04. Возможно появились новые скрипты.

Все остальные настройки делаем аналогично обычной настройке Ubuntu. А вот так выглядит свежеустановленная система:

Установленная Ubuntu

Ссылки по теме:

Успехов!

Метки: , , , , ,

Как полностью скачать целый сайт легко и быстро

У вас когда-нибудь была необходимость полностью скачать (то есть целиком) какой-нибудь сайт? Я думаю, что да. Мне-то точно требовалось.

И как это можно сделать? Есть несколько способов, но в основном они, к сожалению, платные (Teleport Pro, например). Но, как всегда, есть бесплатные альтернативы:

Но я хочу рассказать вам о простой консольной программе wget, которая умеет скачивать целые сайты.

В любом линуксе эта программа уже есть, но если же вы пользуетесь Windows, то можно воспользоваться полнофункциональной портированной версией wget.exe. Просто скопируйте в необходимый вам каталог, а потом выполняйте в командной строке (Пуск→Выполнить→cmd):

c:\путь\до\каталога\wget.exe ключи_и_параметры

Итак, чтобы скачать файл, необходимо ввести команду со следующими ключами:

wget -r -l20 -k http://www.site.ru

— где рекурсивно с глубиной 20 необходимо скачать страницы с сайта и поменять абсолютные ссылки на относительные (-k).

Если загрузка была прервана, то можно воспользоваться ключом -c. А место, куда сохранять, с помощью ключа -P. Например:

wget -r -l20 -k http://www.site.ru -P c:\Temp

Очень удобно и быстро! Материалы по теме:

Метки: , , , , ,

Оптимизация сайтов для сотовых

Пользуясь программой Tiny Twitter узнал про замечательный сервис, который на лету оптимизирует сайты для отображения на сотовом телефоне. Это Skweezer.

Стартовая страница Ввод адреса

Да, есть Opera Mini, но в некоторых случаях этот вариант тоже приемлем.

Вид сайта Оптимизация

Очень удобно, что создатели сделали доступ к функциям через «горячие» клавиши (например, если нажать 3, то перейдёшь на страницу ввода адреса). Также стоит отметить, что можно отключить отображение картинок.

Добавил сервис в закладки своего мобильного браузера.

Метки: , , , ,

Как узнать, какая музыка играет

Вчера возникла довольно распространённая проблема: есть музыка, но неизвестно, кто исполнитель и как называется песня. Есть несколько способов решения:

  • Если песня играла по радио, то достаточно было запомнить радиостанцию (и то необязательно) и время. А затем надо зайти на сайт moskva.fm и найти по этим параметрам необходимую песню. Причём можно прослушать отрывок радиоэфира и убедиться, что мы нашли то, что нам необходимо. Этим способом можно воспользоваться не только в Москве, но, например, и у нас в Ярославле: очень много радиостанций, вещающих московский эфир.
  • Если же это музыкальный файл на компьютере, то можно воспользоваться сервисом MusicBrainz и специальной программой MusicBrainz Tagger.
  • Если же это неподписанный CD-диск, то стоит воспользоваться базой freedb.org и любой совместимой с этой базой программой (например, CDex).

Но что делать, если это музыка в видеоклипе (фильме) или музыка, записанная на старом носителе. Да и мало ли какие бывают случаи. А ведь решение есть!

— это Tunatic.

Tunatic

Всё, что необходимо иметь, кроме, конечно, установленной программы Tunatic, — это микрофон и соединение с интернетом.

  1. Включаем программу.
  2. Настраиваем микрофон и направляем на источник музыки.
  3. Начинаем поиск (нажимаем на лупу): начинается определение музыки.
Identifying

Это всё, что необходимо. Всё очень просто, а песни определяются. При тестировании определились все* песни за время от 10 до 75 секунд.

Gabriel

После поиска программа предлагает поискать в Google.

Search

Но информацию о песне потом можно найти либо в Википедии, либо на last.fm.

* На русских песнях не тестировал.

Метки: , , , ,