Лаборатория информационных технологий им. М. Г. Мещерякова

Общелабораторный семинар

Дата и время: среда, 4 июня 2025 г., в 11:00

Место: комната 310, Лаборатория информационных технологий
им. М. Г. Мещерякова

Информация о семинаре в Indico

1. Тема семинара: «Промежуточное программное обеспечение для высокопропускной обработки данных комплекса SPD Online Filter»

   Докладчик: Никита Гребень

   Аннотация:
   

   «SPD Online Filter» — это программно-аппаратный комплекс для многоступенчатой высокопропускной обработки данных, получаемых с детектора SPD. Его основная задача – первичная обработка данных с целью сокращения их объема для долговременного хранения и последующей полной обработки.

   «SPD Online Filter» включает в себя специализированный вычислительный кластер, комплекс промежуточного программного обеспечения и комплекс прикладного программного обеспечения. Комплекс промежуточного ПО состоит из трех микросервисных систем, взаимодействующих через легковесные API-шлюзы для маршрутизации запросов и брокер сообщений для развязки микросервисов-производителей и микросервисов-потребителей. Вместе они формируют настраиваемый, отказоустойчивый и масштабируемый конвейер обработки данных.

   В данном докладе показана архитектура как программного комплекса, так и входящих в него подсистем; демонстрируется согласованное взаимодействие между компонентами и показано, как они в совокупности обеспечивают надежную, масштабируемую обработку первичных данных для удовлетворения требований эксперимента SPD.




2. Тема семинара: «SPD Data management»

   Докладчик: Алексей Конак

   Аннотация:
   

   Продолжается активная подготовка к запуску эксперимента SPD на коллайдере NICA, однако исследования в области спиновой физики уже начались. Ведется работа с большими объемами данных, получаемых в процессе моделирования физических процессов, исследуемых экспериментом. Для организации надежного хранения, распространения и обеспечения доступности этих данных развернута специальная инфраструктура, позволяющая ими управлять, а также генерировать новые.

   В докладе будет рассмотрено текущее состояние дел в области управления данными эксперимента SPD: как они создаются, хранятся и распределяются между вычислительными центрами. Будет рассказано о текущих вычислениях, объемах производимых данных и стратегиях их хранения. Также будут рассмотрены инструменты и решения, используемые для управления данными.

   Доклад позволит получить представление о том, как продвигается работа в области управления данными эксперимента SPD, а также о трудностях, с которыми сталкиваются при их обработке и долгосрочном хранении.




3. Тема семинара: «Пилотные приложения для распределенного выполнения задач в системе SPD Online Filter»

   Докладчик: Леонид Романычев

   Аннотация:
   

   Пилотные приложения играют ключевую роль в распределенных вычислениях, обеспечивая динамическое управление ресурсами и выполнение задач. Они широко используются в высокопроизводительных вычислениях и крупномасштабных экспериментах, предоставляя гибкий механизм для управления вычислительными задачами. Однако отсутствие единой абстракции и общепринятых практик привело к появлению множества реализаций с различной степенью портируемости и эффективности. В этом докладе будут рассмотрены различные архитектуры пилотных приложений, их ключевые компоненты и принципы работы. Особое внимание будет уделено механизму позднего связывания (late binding), который позволяет динамически распределять задачи и повышать эффективность использования ресурсов. Наше решение представляет собой двухкомпонентную систему, состоящую из пилота и демона. Оно использует многопоточную архитектуру, учитывающую особенности эксперимента SPD, обеспечивая выполнение задач, их мониторинг и отчетность о статусе. В докладе будет представлен взгляд на использование пилотных приложений в распределенных системах и их конкретное применение в эксперименте SPD.




4. Тема семинара: «Автоматизация обработки данных 9-го сеанса BM@N в распределенной среде DIRAC»

   Докладчик: Игорь Пелеванюк

   Аннотация:
   

   Весной 2025 года запланирован 9-й сеанс набора данных эксперимента BM@N. Начиная с февраля 2023 года, когда были получены данные 8-го сеанса, обработка данных BM@N осуществляется с использованием географически распределенной гетерогенной среды, построенной на основе программного обеспечения DIRAC Interware. Для 9-го сеанса была разработана автоматизированная методика запуска задач. Обработка данных начинается при появлении файлов типа RAW, связанных с 9-м сеансом, в файловом каталоге DIRAC. Специальный сервис периодически проверяет файловый каталог на наличие новых файлов, требующих обработки, и запускает соответствующие задачи. Поскольку обработка данных BM@N выполняется в два этапа (сначала преобразование из формата RAW в DIGI, а затем из DIGI в DST), необходимо определить два триггера: один для поступления RAW-файлов, а другой — для DIGI-файлов. Использование автоматизации при обработке экспериментальных данных позволяет оперативно получать информацию о качестве экспериментальных данных, что дает возможность своевременно устранять возникающие проблемы.




5. Тема семинара: «Цифровая карта технологий: детекторы, ускорители, компетенции»

   Докладчик: Анна Ильина

   Аннотация:
   

   В Институте накоплен значительный опыт разработки детекторных и ускорительных систем, соответствующего оборудования и сотрудничества с промышленными и научными партнерами. Однако отсутствие централизованной базы знаний затрудняло поиск информации о существующих технологиях, компетенциях и поставщиках, что приводило к ограниченному обмену опытом между подразделениями. Для решения этой задачи разработан веб-сервис, обеспечивающий учет и контекстный поиск данных как об оборудовании, материалах и технологиях Института, так и о накопленных компетенциях; визуализацию данных для внутренних сотрудников ОИЯИ; интеграцию информации из разных научных групп и отделов. Проект реализован силами молодых ученых, IT-специалистов и представителей научных групп. Дальнейшее развитие сервиса направлено на совершенствование модулей динамического обновления и визуализации данных, модулей расширенного поиска по накопленной базе данных.




6. Тема семинара: «Поиск и систематизация научных публикаций для цифрового репозитория ОИЯИ»

   Докладчик: Андрей Кондратьев

   Аннотация:
   

   Актуальность цифровых репозиториев публикаций как информационных систем, обеспечивающих доступность результатов научных исследований, сегодня невозможно переоценить. Особенно актуальны развитие и модернизация их функционала для автоматизированного сбора библиографических метаданных. В ОИЯИ отсутствие институционального цифрового репозитория подчеркивает важность решения этой проблемы. Эффективный доступ к актуальной информации о научных публикациях сотрудников, аффилированных с ОИЯИ, критически важен для оценки интеллектуального потенциала Института. Автоматизированные системы позволяют существенно сократить дублирование и ручной ввод данных о публикациях, упростить доступ к научной информации и повысить эффективность ее анализа. Современный репозиторий интегрирует данные из доверенных источников данных в единую систему, обеспечивает долговременное хранение и удобный доступ к информационным активам Института.