Добавление шума в процессе обучения способно повысить устойчивость аппаратных нейронных сетей к помехам при дальнейшей работе. К таким выводам пришли учёные Саратовского национального исследовательского университета имени Н.Г. Чернышевского.
В своём исследовании коллектив СГУ предлагает изменить подход к обучению «железного» искусственного интеллекта: не бороться с внутренними шумами, а использовать их как инструмент повышения надёжности.
Сегодня большинство нейронных сетей работают в цифровой форме – на обычных компьютерах и графических процессорах. Однако такие системы требуют значительных вычислительных ресурсов и энергии, а их масштабирование связано с техническими ограничениями. Поэтому всё активнее развивается направление аппаратных нейронных сетей – физических устройств, в которых нейроны и связи реализованы на уровне электроники или других физических элементов.
Проблема в том, что любое физическое устройство подвержено шумам: тепловым колебаниям, нестабильности параметров, случайным возмущениям сигналов. Традиционно такие эффекты рассматриваются как источник ошибок. Исследователи исходно также ожидали, что внутренний шум будет снижать точность работы нейросети. Однако результаты показали обратное.
В работе моделировалось воздействие белого гауссовского шума, который вводился либо в сами нейроны, либо в связи между ними. Нейронные сети обучались распознавать изображения и предсказывать сложные квазипериодические и хаотические сигналы. И оказалось, что присутствие шума на этапе обучения повышает устойчивость системы к помехам в дальнейшем.
Как отмечают авторы, эффект стал для них неожиданным: «Изначально, когда мы только начали заниматься влиянием внутреннего шума на процесс обучения нейронных сетей, мы были уверены, что его влияние будет исключительно негативным, что точность сети будет просто падать, а наша задача будет заключаться в поиске методов борьбы с шумом в процессе обучения. Для нас было большой неожиданностью, что добавление шума в процессе обучения – это уже способ борьбы с шумом. По сути, в своей работе мы показываем, что любую аппаратную сеть необходимо обучать с внутренними шумами. Это существенно повысит резистентность сети к шуму в дальнейшем в процессе работы, даже если параметры воздействий были не идеально подобраны», – уточняет руководитель исследования – доцент кафедры радиофизики и нелинейной динамики СГУ Надежда Семенова.
По словам исследователей, речь идёт не о стандартных алгоритмических приёмах, применяемых в программных нейросетях для борьбы с переобучением. Новизна подхода заключается в том, что шум рассматривается как физическая характеристика аппаратной системы. Авторы первыми системно показали, что если «шуметь» на сеть в процессе обучения, то затем в реальных или даже более сложных условиях она будет работать лучше. Для некоторых типов шумовых воздействий сеть можно сделать практически полностью устойчивой.
Практическая значимость работы связана с развитием энергоэффективных аппаратных нейросетевых устройств нового поколения. Такие системы потенциально могут применяться в задачах обработки изображений, анализа сигналов и автономных вычислений в условиях ограниченных ресурсов. Повышение их устойчивости к физическим помехам критично для реального применения.
В дальнейшем коллектив планирует распространить полученные результаты на более сложные спайковые нейронные сети.
Таким образом, работа меняет взгляд на одну из фундаментальных проблем аппаратного искусственного интеллекта. Если полностью избавиться от шума невозможно, его можно превратить из источника ошибок в механизм повышения надёжности – и именно этот сдвиг в подходе становится главным результатом исследования.
Работа поддержана грантом Российского научного фонда № 25-72-10055 и соответствует стратегическим направлениям развития Саратовского университета в рамках программы «Приоритет-2030». Подробности опубликованы в журнале Chaos, Solitons & Fractals.
Источник: Минобрнауки России
