Весь Интернет теперь можно перевезти на грузовике // 06 Ноября 2012

Некоммерческая компания Internet Archive сообщила о запуске нового центра обработки данных для своей библиотеки, которая уже сейчас хранит 151 миллиард веб-страниц. Новый модульный центр под кодовым названием Blackbox («Черный ящик»), состоящий из 63 кластерных серверов Sun Fire x4500, уместился в стандартном 20-футовом контейнере.

Архив компании Internet Archive работает с 1997 г. – каждые два месяца создается снимок всей Всемирной паутины, а содержание таких снимков доступно через сайт Wayback Machine. Сейчас этот сайт посещают 200 тысяч пользователей в день, выполняя 500 запросов в секунду к базе данных объемом 4,5 петабайт. Последние 13 лет архив всего Интернета работал на базе традиционного центра обработки данных. До ввода в строй нового модульного центра Blackbox архив обслуживали 800 обычных Linux-серверов с четырьмя жесткими дисками в каждом. Скорость пополнения архива достигла 100 Тбайт в месяц.

Новый модульный центр хранения и обработки всемирного Интернет-архива насчитывает 8 стоек, в которых установлены серверы Sun Fire на базе двух- и четырехъядерных процессоров x86 под управлением операционной системы Solaris 10. Каждый из 63 серверов Sun Fire x4500 снабжен дисковым массивом из 48 жестких дисков объемом по 1 Тбайт. При хранении данных в дисковом массиве используется файловая система ZFS. Потребление электроэнергии составляет 25 кВт на стойку. По заверениям инженеров Sun, создавших этот контейнерный центр, для его работы необходимо поставлять извне только сетевые подключения, холодную воду и электричество. Само собой, отработанная после охлаждения серверов вода должна куда-то сливаться. Кроме всего прочего, контейнер Blackbox (официально этот серийный продукт будет носить название Sun Modular Datacenter) оснащен системой вентиляции, пожаротушения и защитой от землетрясений, выполненной в виде пружинящих подставок под платформу с серверными стойками.

Как рассказал Брюстер Кейл (Brewster Kahle), один из основателей Internet Archive, новый центр будет начальным звеном во всемирной сети цифровых библиотек. Уже сейчас данные Internet Archive дублируются в хранилище новой Александрийской библиотеки в Египте. В дальнейшем планируется установить еще несколько центров хранения данных на базе контейнерных систем в разных точках мира, чтобы скопленные человечеством знания не были утрачены даже в случае самых серьезных катастроф, как это случилось с Александрийской библиотекой в древности.

Подробнее о новом центре обработки данных для хранения полного архива Интернета можно узнать на сайте Wayback Machine и в развернутой статье журнала The Register.