Создание высокоскоростного масштабируемого канала связи для работы ученых в рамках проекта «Большой адронный коллайдер»

Задачи

Ученые Объединенного института ядерных исследований (ОИЯИ), расположенного в подмосковной Дубне, являются активными участниками исследований в рамках международного проекта «Большой андронный коллайдер» (LHC). В ходе типового эксперимента на коллайдере, происходит 4 миллиона только значимых событий за час, в результате чего формируется и сохраняется порядка 5 петабайт данных. Для хранения, обработки и анализа результатов экспериментов на коллайдере, была разработана технология распределенных вычислений Grid и построена глобальная вычислительная инфраструктура Worldwide LHC Computing Grid (WLCG), объединяющая 140 вычислительных центров в 34 странах.

Лаборатория Информационных технологий ОИЯИ является одним из самых нагруженных центров обработки данных WLCG. Текущая интенсивность обмена данными и потока данных между узлом обработки и источником данных требует очень широкой полосы пропускания.

В связи с запуском проекта «Большой андронный коллайдер», необходимо было построить новый высокоскоростной масштабируемый канал связи.

Владимир Кореньков, заместитель начальника Лаборатории информационных технологий ОИЯИ, прокомментировал задачи проекта так (следующим образом): «Для нашей работы очень нужны высокопроизводительные онлайн-системы как для «домашних», так и для крупных внешних проектов. Естественно, при таких общих показателях нам жизненно необходима глобальная Grid-инфраструктура. Без нее физикам и инженерам просто не обойтись при анализе сколько-нибудь крупного массива данных, полученного на коллайдере, а в дальнейшем и для обработки результатов других экспериментов, которые будут проводиться.».

К подобной распределенной системе предъявляются высокие требования, в том числе, в части каналов связи: она должна функционировать бесперебойно и круглосуточно, выдерживая любые нагрузки в момент проведения наиболее интенсивных измерений. Кроме того, она должна иметь возможность регулярного обновления в течение десятков лет в соответствии с развитием технологий обработки, хранения и передачи информации.

«Компьютерная Grid-структура напоминает сеть Интернет, с той лишь разницей, что Интернет представляет собой распределенное хранилище информации, а Grid-системы являются распределенными средствами ее обработки, – поясняет Даниил Виняр руководитель группы перспективных разработок центра сетевых решений компании «Инфосистемы Джет». – При этом конкретный пользователь может не знать, какие вычислительные ресурсы в данный момент обрабатывают его задачу – важно только то, что они соответствуют его потребностям».

Исполнителем проекта была выбрана компания «Инфосистемы Джет» благодаря наличию опыта реализации подобных проектов и соответствующих компетенций специалистов.

В рамках проекта специалисты компании «Инфосистемы Джет» произвели обследование, анализ и выбор сетевого оборудования, осуществили запуск в эксплуатацию. В результате обследования было принято решение об использовании в проекте продуктов компании Ciena (бывшая оптическая линейка оборудования компании Nortel): терминала Optical Multiservice Edge (OME) 6500, усилителя и мультиплексора Common Photonic Layer (CPL).

Созданный инженерами компании «Инфосистемы Джет» новый коммуникационный канал «ОИЯИ Дубна – РосНИИРОС М9», представляет собой опорную магистральную сеть DWDM с наложенной на нее пакетной магистралью IP. Длина всей магистрали составляет более 200 км и состоит из трех узлов: «ОИЯИ Дубна», «Радищево» и «РосНИИРОС М9». На узлах магистрали было использовано следующее оборудование:

  1. Оконечный узел ОИЯИ Дубна – Терминал Nortel Optical Multiservice Edge (OME) 6500, линейное оборудование – усилитель и мультиплексор Nortel Common Photonic Layer (CPL);
  2. Усилительный узел Радищево – линейное оборудование - усилители Nortel Common Photonic Layer (CPL);
  3. Оконечный узел РосНИИРОС М9 – Терминал Nortel Optical Multiservice Edge (OME) 6500, линейное оборудование – усилитель и мультиплексор Nortel Common Photonic Layer (CPL).

«Наша компания имеет богатый опыт реализации проектов на технологии DWDM для операторов связи. Однако для фундаментальной науки мы сделали подобный проект впервые. Несомненно, миграция технологий из одной области деятельности в другую обеспечивает их интенсивное развитие, – говорит Даниил Виняр. – Мы благодарим Объединенный Институт Ядерных Исследований за предоставленную возможность использовать в полной мере свои компетенции и рады, что наш опыт оказался востребован и полезен отечественным научным институтам».

Перед запуском проекта в промышленную эксплуатацию было проведено тестирование устойчивости компонентов сети к сбоям и дополнительным нагрузкам.

В настоящий момент магистральный канал обеспечивает пропуск 2-х сигналов 10 Gbit/sec Ethernet. Канальное оборудование позволяет объединять до 88 сигналов, несущей способностью 10, 40 и 100 Gbit/s. Для увеличения количества сигналов, передаваемых между узлами, достаточно просто нарастить конфигурацию оконечных узлов.
Таким образом, построенная линия связи обеспечит институту ОИЯИ многократный рост пропускной способности без замены оборудования методом экстенсивного линейного наращивания.

«Работа над проектом была очень сложная как в техническом, так и в организационном плане, поскольку требовала взаимодействия сразу с шестью организациями, – комментирует Владимир Кореньков, заместитель начальника Лаборатории информационных технологий ОИЯИ. – Хотелось бы отметить высокий уровень компетенции сотрудников компании «Инфосистемы Джет»».

Проведенное тестирование показало эффективность обмена данными между вычислительным узлом, созданным в Лаборатории информационных технологий ОИЯИ, и другими узлами WLCG.

«Подчеркну, что эта работа важна не только для научных исследований, но и для мира информационных технологий, который охватывает сегодня все стороны нашей жизни. Применение Grid-технологий в обозримом будущем может стать столь же важным для решения повседневных задач, как это случилось с Web-технологиями, которые также были созданы в Европейском центре ядерных исследований для организации доступа к научной информации. Проекты «Grid для бизнеса» хотя и не являются массовыми, но уже успешно используются в мире», – отметил Владимир Кореньков.

Скачать (pdf, 127.27 Кб)

Создание высокоскоростного масштабируемого канала связи для работы ученых в рамках проекта «Большой адронный коллайдер»