Мегапроекты и обработка данных. CRIC помогает управлять петабайтами информации

Проект NICA, созданный на базе Объединённого института ядерных исследований (ОИЯИ) в Дубне, сталкивается с колоссальными объёмами данных, которые необходимо обрабатывать. Ожидается, что только эксперимент SPD (Spin Physics Detector) будет генерировать более десяти петабайт данных ежегодно. Управление такими данными требует высокоэффективных IT-решений, и одним из них стала система CRIC, разработанная Институтом ядерной физики СО РАН.

Система CRIC, созданная на основе предыдущей разработки AGIS для Большого адронного коллайдера (БАК), обеспечивает распределённую обработку данных. Она позволяет управлять инфраструктурой, состоящей из множества компьютерных центров по всему миру. Опыт внедрения CRIC на экспериментах БАК показал её эффективность, поэтому было принято решение адаптировать систему для обработки данных эксперимента SPD на коллайдере NICA.

«Ожидаемый объём данных измеряется десятками петабайт в год, что ставит эксперимент SPD в один ряд с проектами на БАК».

— Данила Олейник, заместитель координатора по компьютингу и программному обеспечению эксперимента SPD

Вклад Института ядерной физики СО РАН заключается не только в разработке элементов детектора, но и в создании IT-инфраструктуры для распределённой обработки данных. CRIC помогает контролировать и координировать работу центров обработки, обеспечивает управление нагрузкой и передачей данных, что является ключевым фактором для успешной работы таких масштабных проектов, как NICA.

Кроме того, специалисты ОИЯИ активно развивают интеграцию других систем, таких как PanDA для управления нагрузкой и Rucio для управления данными, обеспечивая эффективное использование всех доступных ресурсов.

«Информационная система CRIC является важной частью комплексной системы обработки данных эксперимента SPD».

— Алексей Анисёнков, научный сотрудник ИЯФ СО РАН

Система продолжит развиваться по мере увеличения объёмов данных и потребностей проекта, что позволит эксперименту SPD эффективно обрабатывать данные и моделировать физические события, улучшая понимание квантовой хромодинамики и поляризованных взаимодействий.

Источник: ИЯФ СО РАН.