Распределенная обработка и управление данными BM@N и MPD в рамках системы DIRAC

С 2019 года в ОИЯИ развивается географически распределенная гетерогенная вычислительная среда на основе платформы DIRAC, ориентированная на решение задач обработки и хранения научных данных. В настоящее время основными пользователями созданной инфраструктуры являются эксперименты BM@N и MPD.
В докладе будут представлены результаты развития вычислительной среды, методов мониторинга и анализа ее функционирования. Разработанные подходы и программные инструменты обеспечили возможность масштабной обработки экспериментальных данных. В частности, в 2026 году в рамках 9-го сеанса эксперимента BM@N было собрано и обработано около 2 ПБ данных. Проведен анализ основных характеристик потока экспериментальных данных и процессов их обработки, позволяющий сравнивать его с предыдущим сеансом сбора данных и прогнозировать процесс дальнейшей обработки.
Особое внимание будет уделено развитию методов работы с распределенными данными: от организации массовых передач до контроля целостности данных и проверки согласованности информации между файловым каталогом и системами хранения. Будет представлена разрабатываемая система комплексного анализа состояния инфраструктуры хранения данных экспериментов, использующих DIRAC.
Также будут рассмотрены перспективные направления развития системы, включая исследование методов сжатия экспериментальных данных, использование ленточных хранилищ непосредственно в процессах обработки данных и разработку подходов к предоставлению доступа к распределенной вычислительной среде более широкому кругу пользователей.