17 апреля 2025 года в Лаборатории информационных технологий им. М. Г. Мещерякова ОИЯИ был завершен очередной этап работ по модернизации Многофункционального информационно-вычислительного комплекса (МИВК) ОИЯИ. На этом этапе было обновлено инженерное оборудование, обеспечивающее энергопитание и охлаждение: системы климат-контроля, модули распределения питания. Работы были проведены сотрудниками ЛИТ под руководством главного инженера лаборатории Андрея Долбилова и главного инженера МИВК Алексея Воронцова.

Модулем принято называть систему изоляции воздушных потоков, которая объединяет два ряда отдельно стоящих стоек с оборудованием посредством потолочной панели и системы раздвижных дверей, за счет чего обеспечивается охлаждение. Таким образом, внутри модуля образуется изолированный холодный коридор; нагретый воздух отводится в общее пространство зала МИВК.

Всего в машинном зале второго этажа ЛИТ ОИЯИ, наряду с отдельно стоящими суперкомпьютером «Говорун» и роботизированными ленточными библиотеками IBM TS3500 и TS4500, находится четыре изолированных модуля:

• модуль Tier-1;
• модули Tier-2 — № 1 и № 2;
• модуль № 4, который обеспечивает работу Tier-2, гетерогенной платформы HybriLIT, облачной инфраструктуры, комплекса информационно-вычислительных ресурсов и системы хранения данных EOS.

Созданный в 2020 году модуль № 4 оснащен современным инженерным оборудованием. До модернизации он достаточно сильно отличался по инженерным решениям от модулей № 1 и № 2. Также в машинном зале расположены модуль, в котором размещаются критически важные серверы стандартного типа бизнес-вычислений (административных систем, баз данных и т. д.), и модуль сетевого оборудования, где находятся основные сетевые сервисы для МИВК, локальной и глобальной сетей. В будущем планируется создание модуля № 5, который объединит в себе сетевую инфраструктуру с дополнительными вычислительными ресурсами и системами хранения данных.

Начиная с конца 2024 года была проделана большая работа по совершенствованию инженерной инфраструктуры МИВК. Проводилось необходимое обновление оборудования, обеспечивающего энергопитание и охлаждение вычислительного комплекса. Этот этап модернизации проводился без остановки работы всего активного оборудования и вместе с этим был выполнен оперативно, с малыми потерями времени и работоспособности. Потребовалось проектирование и создание собственных блоков распределения питания (PDM). Эта сложная и объемная работа была успешно проделана старшим инженером ЛИТ Андреем Евлановым. Сборка, монтаж и подключение PDM для 1-го и 2-го модулей МИВК были проведены в конце 2024 года. Установлены и введены в эксплуатацию шкафы гарантированного питания от источников бесперебойного питания Galaxy 7000, смонтировано по восемь PDM в каждом модуле. Была начата подготовка подключения трехфазного питания к PDM. Позже, в марте-апреле 2025 года, 1-й и 2-й модули были полностью переведены на трехфазное электропитание.

В рамках модернизации МИВК ОИЯИ было принято решение о значительном расширении модуля № 2. В его структуру было интегрировано 10 новых шкафов для размещения оборудования, а для обеспечения эффективного охлаждения обновленной конфигурации установлены 10 межрядных кондиционеров. На следующем этапе работ аналогичные усовершенствования планируется реализовать в модуле № 1.

Выполнение модернизационных работ сопровождалось физическим переносом пяти серверных шкафов, обеспечивающих функционирование сервисов Tier-2 dCache, Tier-2 WN, Main EOS и cvmfs. В связи с этим ЛИТ ОИЯИ заранее объявила запланированный даунтайм в глобальной грид-инфраструктуре WLCG (Worldwide LHC Computing Grid) на период с 27 по 31 марта. Эта мера позволила предотвратить потерю выполняемых пользовательских задач и гарантировать целостность данных.

«За счет увеличения мощностей электропитания и охлаждения приблизительно на 30% нам удалось повысить их общую эффективность, — сообщил Андрей Долбилов. — Расширение количества стоечных шкафов открыло дополнительные возможности для установки нового оборудования, увеличения вычислительной мощности Tier-2 и развития МИВК в целом».

Модернизация инженерной инфраструктуры МИВК осуществляется в соответствии с Семилетним планом развития ОИЯИ на 2024-2030 годы. Он предусматривает ежегодное увеличение на 10–20 % емкости хранилища данных и вычислительных мощностей для проекта WLCG, который ориентирован на решение задач, связанных с участием ОИЯИ в экспериментах ЦЕРН. Это необходимо для поддержания требуемой скорости обработки данных. Проведенная модернизация создает условия для установки нового оборудования и активного обновления системы, что позволит обеспечить надежную работу всего комплекса МИВК.

Алексей Воронцов особо отметил значительный объем выполненных персоналом МИВК работ по отключению и извлечению устаревшего оборудования. Он подчеркнул высокую самоотдачу и преданность делу молодых инженеров и дежурного персонала, которые в круглосуточном режиме обеспечивают бесперебойную работу комплекса и вносят существенный вклад в его развитие. По словам Алексея Воронцова, во многом благодаря этим специалистам вычислительный центр ОИЯИ сегодня играет заметную роль в международном научном сообществе.

В январе 2025 года многоуровневая система хранения и обработки данных суперкомпьютера «Говорун» была дополнена двумя новыми серверами на базе технологии Ruler, суммарной емкостью 2 петабайта. В данный момент они введены в эксплуатацию и активно используются для выполнения вычислительных задач мегасайенс-проекта NICA. В результате этой модернизации общий объем сверхбыстрой части иерархической системы хранения данных достиг 10,6 петабайта, что позволит существенно сократить время выполнения задач СК «Говорун».

Директор ЛИТ ОИЯИ Сергей Шматов отметил прогрессирующий рост вычислительной мощности МИВК. «По многим внедренным решениям вычислительный центр ОИЯИ не только занимает лидирующие позиции среди аналогичных комплексов, обеспечивающих поддержку фундаментальных исследований, но и обладает уникальными особенностями, такими как интеграция технологических решений для распределенных вычислений, высокопроизводительных вычислений и распределенного озера данных в единой вычислительной среде», — прокомментировал он.