Его не обманешь! Искусственный интеллект помогает распознать дипфейки

Синтезированные или измененные с помощью нейросетей изображения и видео — дипфейки — могут выглядеть совершенно реалистично. К сожалению, такие технологии используются не только во благо (при создании качественного контента для СМИ, музеев и онлайн-магазинов), но и в недобрых целях.
Киберпреступники применяют дипфейки для шантажа, подделки документов и фотографий, что может причинить моральный, репутационный и экономический ущерб жертвам.
Определить, кем создано видео, человеком или нейросетью, порой бывает очень сложно. На помощь приходит искусственный интеллект. Ученые Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) разработали несколько методов для автоматического распознавания дипфейков. Один из них основан на обнаружении признаков так называемого апскейлинга, уже разработан и проверен.
Апскейлинг — это метод улучшения качества изображения путем увеличения его разрешения. Суть апскейлинга заключается в том, что с помощью специальных алгоритмов изображению добавляются дополнительные пиксели, что делает его более четким и детализированным. В контексте дипфейков апскейлинг используется для повышения качества сгенерированных искусственным интеллектом изображений, чтобы они выглядели более реалистично.
Этот метод обнаружения был создан участником проекта младшим научным сотрудником лаборатории проблем компьютерной безопасности СПб ФИЦ РАН Дмитрием Весниным.
— Мы разрабатываем алгоритмы, которые анализируют множество параметров изображения, чтобы определить, насколько оно было изменено с помощью искусственного интеллекта. Это важно, так как практически все современные смартфоны используют нейросети для улучшения фотографий.
Однако при создании дипфейков фотографии изменяются гораздо сильнее. В этом и состоит отличие. Один из наших алгоритмов научился выявлять апскейлинг, то есть искусственное улучшение качества изображения, за счет повышения его разрешения, — объясняет участник проекта, ведущий эксперт Международного центра цифровой криминалистики СПб ФИЦ РАН Дмитрий Левшун.
Ученые разделили дипфейки на три типа: полностью сгенерированные нейросетью изображения, фотографии с добавленными элементами (например, замена лиц реальных людей) и модифицированные фотографии (например, изменения цвета кожи или мимики).
Для обнаружения дипфейков создается база данных изображений всех трех типов. На основе этой базы будет обучена нейросетевая модель, которая сможет выявить наличие признаков целенаправленного изменения лица на фотографии, а также определить, с помощью какого программного инструмента был создан дипфейк.
— Апскейлинг — это только один из признаков, по которым можно распознать даже качественно выполненный дипфейк. Мы планируем доработать нашу нейросеть, чтобы она могла анализировать изображения по большому числу характеристик.
Наша глобальная цель — создать приложение, которое бы быстро и точно выявляло фейковые изображения и видео, защищая репутацию и финансы людей от интернет-мошенников, — пояснил руководитель проекта, руководитель Международного центра цифровой криминалистики СПб ФИЦ РАН Андрей Чечулин.
Сейчас ученые СПб ФИЦ РАН работают над созданием новой открытой библиотеки интеллектуальных методов для обнаружения поддельных и измененных фотографий лиц. Эта библиотека будет выполнять две основные задачи: выявлять подделки и определять их тип.
Библиотека сможет работать в реальном времени, анализируя цифровые изображения от момента обнаружения лица до проверки его подлинности. Анализ будет основываться на современных технологиях искусственного интеллекта и авторских нейросетевых моделях, созданных на базе лучших мировых практик и оригинальных решений ученых СПб ФИЦ РАН.
Проект «Библиотека интеллектуальных методов для обнаружения преднамеренной подмены, модификации или генерации лица человека в цифровых фотографиях» поддержан грантом Фонда содействия инновациям.

Пресс-служба СПб ФИЦ РАН