Использование гетерогенных вычислительных ресурсов через DIRAC в ОИЯИ / Автоматизация обработки (больших) данных в вычислительной инфраструктуре ЛИТ для настоящих и будущих экспериментов ОИЯИ

Семинары

Общелабораторный семинар ЛИТ

Дата и время: вторник, 17 сентября 2019 г., в 15:00

Место: комната 310, Лаборатория информационных технологий

  1. Тема семинара: «Использование гетерогенных вычислительных ресурсов через DIRAC в ОИЯИ»

    Докладчик: И. Пелеванюк

    Аннотация:

    В ОИЯИ появляется все больше задач, связанных с интенсивной обработкой и интенсивным обращением к данным: BM@N, MPD, SPD, нейтринные эксперименты и другие. Возникают вопросы: как обрабатывать данные, где хранить, как передавать. На сегодняшний день институт обладает широким спектром разнообразных ресурсов: очереди пакетной обработки, грид, облако, суперкомпьютер. Интеграция этих ресурсов с использованием системы DIRAC избавляет от необходимости привязываться лишь к одному из ресурсов. Программное обеспечение, разработанное для интеграции различных вычислительных ресурсов, иногда называемое interware, предназначено для облегчения выбора ресурса для работы с данными. DIRAC interware один из таких продуктов. Он доказал свою эффективность в разных экспериментах физики высоких энергий и в некоторых других областях науки. Программное обеспечение DIRAC было развёрнуто в ОИЯИ для того, чтобы удовлетворять требованиям разных научных групп, предоставляя единый интерфейс ко всему спектру ресурсов: грид, облакам, суперкомпьютеру «Говорун», дисковым хранилищам и ленточным хранилищам. Архитектура, основанная на DIRAC, предназначена для решения задач эксперимента BM@N, с которого уже поступают данные, и будущего эксперимента MPD на ускорителе NICA. В этих экспериментах использование гетерогенных вычислительных ресурсов необходимо.

  2. Тема семинара: «Автоматизация обработки (больших) данных в вычислительной инфраструктуре ЛИТ для настоящих и будущих экспериментов ОИЯИ»

    Authors: А. Петросян, Д. Олейник

    Докладчик: Д. Олейник

    Аннотация:

    Современные естественнонаучные исследования имеют критическую зависимость от скорости обработки собранных данных, и в большинстве случаев речь уже идет о «больших данных» — под которыми понимается не только физически большой объем, привычно измеряемый уже терабайтами, но и количество наборов данных, файлов и объектов, хранящихся в файлах. Автоматизация процесса обработки данных для естественнонаучных исследований является краеугольным камнем успеха исследования. Данный семинар представляет концепцию построения набора информационных систем и сервисом, необходимых для решения задач автоматизации процессов обработки данных на гетерогенных распределенных ресурсах ЛИТ ОИЯИ.