Исследователи из РЭУ имени Г.В. Плеханова и Саратовского национального исследовательского государственного университета имени Н.Г. Чернышевского предложили принципиально новую архитектуру скрытого слоя для резервуарных нейросетей. Такие сети помогают прогнозировать поведение сложных систем — от погодных явлений до активности нервных клеток. Вместо случайных связей авторы построили резервуар из плотно связанных групп искусственных нейронов (треугольников или тетраэдров) и изолированных узлов. Такой подход в разы уменьшил ошибку прогноза, в десятки раз сократил число необходимых соединений и сделал алгоритм менее чувствительным к случайному выбору структуры. Результаты опубликованы в журнале Chaos при поддержке РНФ.
Многие природные и инженерные системы демонстрируют сложное, нелинейное поведение, прогнозировать которое традиционными методами крайне трудно. Для таких задач всё чаще применяют резервуарные вычисления: обучается только выходной слой, а внутренняя структура остаётся фиксированной, что делает алгоритм быстрым и нетребовательным к ресурсам. Однако в классических резервуарах нейроны связаны случайно, из-за чего качество предсказаний сильно зависит от конкретной реализации связей: одна случайная сеть может работать отлично, а другая — плохо. Избыток связей также усложняет физическую реализацию, особенно на интегральных схемах.
Ранее те же исследователи усовершенствовали метод подачи данных, чтобы нейросеть автоматически подстраивалась под временные масштабы сигнала. В новой работе они кардинально перестроили сам резервуар: вместо случайных связей создали упорядоченную систему из блоков плотно связанных нейронов и отдельных изолированных узлов. Учёные сравнили резервуары с обычными связями и блоками из трёх, четырёх и пяти элементов при решении трёх сложных задач — прогнозировании нейронной динамики, предсказании математических систем атмосферы и химических реакций, а также восстановлении скрытых сигналов ЭЭГ.
Переход от случайных связей к системе из четырёх блоков искусственных нейронов позволил в четыре раза уменьшить ошибку прогноза, а число блоков, необходимых для заданной точности, сократилось примерно в 30 раз. Кроме того, такие резервуары оказались гораздо менее чувствительны к случайному выбору начальной конфигурации: их производительность оставалась стабильно высокой, что упрощает настройку при практических применениях. Это открывает путь к созданию компактных и энергоэффективных резервуарных компьютеров для медицины, климатологии и промышленности.
Фото: соавторы исследования демонстрируют предложенную архитектуру алгоритма резервуарных вычислений. Источник: Никита Кулагин / из архива НИИ прикладного ИИ и цифровых решений РЭУ имени Г.В. Плеханова.
