Исследования томского ученого помогут отражать хакерские атаки на нейросети

С внедрением новых IT-технологий расширяется и спектр киберугроз. Одно из новых направлений хакерского воздействия – атаки на машинное обучение. Учёные всего мира сейчас работают над поиском эффективных, опережающих способов защиты. Молодой ученый Института прикладной математики и компьютерных наук Томского госуниверситета Антон Николаев исследует атаки на машинное обучение и механизмы их предотвращения. Результаты его работы послужат основой для разработки новых подходов к защите нейронных сетей от разного рода кибернападений.

– Эта задача сейчас крайне актуальна, поскольку методы машинного обучения всё активнее используются в самых разных областях – автономном вождении, распознавании лиц и голоса, биометрии, задачах классификации и обнаружения объектов, медицинской диагностике, – рассказывает аспирант ИПМКН ТГУ Антон Николаев (научный руководитель доцент ИПМКН Денис Колегов). – Соответственно, те или иные методы и алгоритмы, работающие в данных областях, подвержены всевозможным атакам. Сложность (как для атакующего, так и для защищающего) заключается в том, что обозначенные системы крайне сложны в своем устройстве, и защита, как и нападение, требуют сложного многоуровневого подхода на всех этапах взаимодействия системы с пользователем.

Как отмечает Антон, успешная атака на систему, работающую на базе машинного обучения и различных обучающихся алгоритмов, может привести к критичным последствиям не только для бизнеса, но и для жизни человека. Например, внедрение в системы автономного вождения – к тому, что системы распознавания знаков «перепутают» сигнал «СТОП» с ограничением скорости, не увидят запрещающий сигнал светофора или сам автомобиль сойдет с дороги на огромной скорости.

Успешная атака на биометрические системы и распознавание лиц может открыть доступ к секретным помещениям, данным или даже финансовым счетам в системах онлайн-банкинга. Все эти проблемы могут привести к серьезным репутационным рискам и финансовым потерям.

«Механизмы атак на подобные системы могут быть совершенно разными. Самые популярные включают генерацию некоторых небольших изменений в объекте (звуке, изображении, тексте) или, проще говоря, специального «шума», который ведет к тому, что система неправильно распознает или классифицирует данный объект, – объясняет Антон Николаев. – Например, определенного рода наклейка на дорожный знак может заставить систему распознавания дорожных знаков увидеть вместо одного знака другой. Или же специальный макияж на лице может заставить систему распознавания лиц увидеть в одном человеке другого».

В процессе машинного обучения возможно появление «зазоров» или неоднозначных ситуаций, благодаря им злоумышленники могут замещать одни результаты другими. Задача исследований аспиранта ИПМКН ТГУ – выявить наиболее эффективные методы приближения к границам таких «зазоров» или пограничных значений. Это знание позволит понять, как именно можно снизить число подобных «слабых звеньев» при атаках и в эксплуатации.

На основе результатов проведённых исследований молодой учёный создаст новые алгоритмы либо платформенное решение для защиты методов машинного обучения от внешнего влияния.

Добавим, что наряду с этим учёные ИПМКН разрабатывают подходы для обеспечения конфиденциальности данных, хранимых в облачных сервисах. В качестве инструмента повышения безопасности они используют специализированные шифры и реализуют схемы защиты, менее подверженные взлому, чем просто «прозрачное» шифрование.

Изображение: зоны риска

Пресс-служба ТГУ

23.09.2021

 

Нет комментариев