Распределенная гетерогенная вычислительная среда для обработки данных экспериментов на ускорительном комплексе NICA

Семинары

Лаборатория информационных технологий

Общелабораторный семинар

Дата и время: четверг, 29 мая 2025 г., в 15:00

Место: Конференц-зал, Лаборатория информационных технологий им. М. Г. Мещерякова, онлайн в Webinar

Тема семинара: «Распределенная гетерогенная вычислительная среда для обработки данных экспериментов на ускорительном комплексе NICA»

Докладчик: Игорь Пелеванюк

Аннотация:

Одним из ключевых компонентов в реализации проекта NICA, наравне с ускорителем и детекторными установками BM@N, MPD и SPD является вычислительная инфраструктура, которая необходима для обработки, анализа, хранения и передачи больших объемов экспериментальных данных. В ЛИТ создана распределенная гетерогенная вычислительная среда, построенная на базе ПО DIRAC. В неё входят кластеры Tier1 и Tier2, суперкомпьютер «Говорун», кластер NICA, кластер DDC, облака стран-участниц ОИЯИ, кластер UNAM в Мексике и кластер IMDT в Монголии и др. Для интеграции облачных ресурсов был разработан новый программный инструментарий, позволяющий напрямую интегрировать облака, работающие на базе ПО OpenNebula. Для повышения эффективности работы построенной среды разработаны и реализованы методики мониторинга задач и передач данных. Разработан принципиально новый подход к анализу выполнения больших пакетов задач, позволяющий анализировать сотни тысяч задач и определять ресурсы, работающие неэффективно. Разработана методика организации обработки экспериментальных данных, подтвердившая свою эффективность при обработке данных 8-го сеанса эксперимента BM@N. Построенная инфраструктура была использована для решения задач экспериментов MPD, BM@N и SPD. Всего было успешно выполнено более 3.5 миллионов задач со средним временем выполнения 8 часов.

По материалам кандидатской диссертации.