Сеть – это и есть компьютер

Эта 100-метровая шахта ведет к одному из четырех огромных подземных детекторов – Atlas.
Фото Дмитрия Макаренко

В ноябре этого года в «боевом» режиме должна заработать одна из самых крупных GRID-систем в мире, созданная для помощи физикам из Европейского центра ядерных исследований (CERN, Женева, Швейцария). Как только они начнут свой эксперимент с использованием крупнейшего в мире ускорителя частиц Large Hadron Collider (LHC), более 100 тыс. компьютеров в сотнях научных центров окажутся загруженными работой по обработке полученных данных.

Концепция GRID-систем относительно проста: большинство компаний используют cвои компьютеры и серверы далеко не на полную мощность. При этом практически любой сервер, даже с минимальной конфигурацией, существенно мощнее, чем этого требует выполняемая на нем работа, особенно в плане ресурсов процессора. Таким образом, при наличии скоростных каналов связи и специального управляющего ПО научные центры, расположенные в университетах по всему миру, могут включать свои кластеры в общую сеть по тому или иному глобальному проекту.

Специальное управляющее ПО распределяет выполняемые задачи наиболее рациональным способом, учитывая мощность включенных в GRID-систему компьютеров.

Цель таких проектов – заставить сеть работать как единый компьютер, так, чтобы объединенные рабочие среды каждого элемента сети создавали единую инфраструктуру – простую в управлении и эффективную в распределении ресурсов.

GRID-система в CERN имеет многоступенчатую иерархию. Сам CERN образует нулевой уровень, «первоисточник». Полученные из него наборы данных будут распределяться между одиннадцатью ЦОДами в Европе, Северной Америке и Азии, которые составляют уровень номер один. Скорость обмена данными – 10 Гбит/с.

ЦОДы второго уровня находятся главным образом в более чем 250 университетах по всему миру. Здесь физики займутся анализом полученных данных. Скорость обмена данными – от 100 Мбит/с до 1 Гбит/с. Всего в сети участвует около 60 центров обработки данных и отдельные сегменты сетей примерно 200 организаций из 80 стран мира – скоростные каналы связи соединят систему на всех пяти континентах.

Такая сеть была создана в 2005–2006 годах для того, чтобы ученые могли оперировать огромными массивами данных, полученными в результате эксперимента. Дело в том, что LHC представляет собой проложенное под землей на глубине 100 м бетонное кольцо с длиной окружности 27 км, в котором протоны разгоняются до релятивистских скоростей и сталкиваются друг с другом, создавая самые настоящие фейерверки и фонтаны элементарных частиц. Четыре огромных подземных детектора будут считывать возникающие в результате столкновений сигналы от миллионов каналов каждые 25 наносекунд – это сотни мегабайт данных каждую секунду.

Ожидается, что ежегодно нужно будет «перелопачивать» 15 петабайт данных, полученных с помощью LHC. Детекторы фиксируют картину столкновения частиц, которая анализируется с целью выявления характерных особенностей. Одно столкновение никак не связано со следующим, а значит, можно применять обычную параллельную обработку данных. Четыре гигантских детектора этого ускорителя будут накапливать больше чем 10 млн. гигабайт данных о событиях при столкновении частиц в течение каждого года. Это эквивалентно содержанию примерно 20 млн. компьютерных компакт-дисков.

Установленные в CERN серверы, дисковые массивы и ПК объединены в собственный ЦОД. Коммутаторы, поставляемые компанией HP, позволяют всем используемым в CERN процессорам обмениваться данными со скоростью

1 Гбит/с, а с основной магистралью сети GRID они связаны 10-гигабитными каналами. На основной магистрали установлено 16 10-гигабитных маршрутизаторов производства Force10 Networks, которые связывают сеть CERN с другими участниками проекта.

Из 100 тыс. необходимых для проекта процессоров CERN выделит примерно 10%. А в общей сложности организация предоставит около 8 тыс. компьютеров на базе одно- или двухъядерных процессоров, которые будут работать под управлением версии Linux, именуемой Scientific Linux CERN.

Центр обработки данных в CERN – это тысячи компьютеров и серверов. Фото Дмитрия Макаренко

ПК, используемые в CERN, – самые обычные рабочие станции на процессорах Intel Xeon – они размещены на подземном уровне ЦОДа в 19-дюймовых рабочих стойках. Первый этаж занимают серверы Sun. Приложения для физических исследований могут выполняться в параллельном режиме, но независимо друг от друга – каждое на отдельном компьютере. Поэтому любой вышедший из строя ПК можно заменить и выполнявшуюся им задачу запустить заново.

Сегодня, когда завершается работа над ускорителем, CERN и его партнеры проводят испытания сети GRID, имитируя пересылку огромных файлов и больших объемов данных, чтобы проверить ее устойчивость.

Кроме того, CERN возглавил кампанию за создание европейской сети GRID для обслуживания представителей различных наук. Многие ученые испытывают потребность в такой сети. Необходимость в ней возникает и при проведении целого ряда экспериментов.

В ноябре, когда наступит пора экспериментов, в рамках проекта начнется сбор данных, обработка которых займет 15 лет. Правда, изучать эти данные можно будет на протяжении многих лет и после того, как ускоритель LHC уже перестанет функционировать.