Жесты — в тексты

Людям с нарушениями слуха помогут программисты

Специалисты Санкт-Петербургского федерального исследовательского центра РАН создали программный комплекс, который способен на основе интеллектуального анализа видео распознавать жестовый язык людей с нарушениями слуха. Приложение планируется использовать в медицинских учреждениях для того, чтобы повысить эффективность оказания врачебной помощи глухонемым пациентам.
Согласно данным Всемирной организации здравоохранения, на 2021 год в мире насчитывалось примерно 466 миллионов человек (около 5% от общего количества населения земного шара), страдающих полной глухотой или имеющих проблемы со слухом. Такие люди могут испытывать значительные трудности при посещении различных учреждений, торговых центров или больниц.
«К нам обратилась одна из организаций, занимающихся реабилитацией глухих людей, в связи с проблемами, которые у них возникают, когда они посещают больницы. Для того чтобы подробно объяснить свой недуг, такой пациент вынужден брать с собой переводчика, а таковых часто не хватает. Чтобы решить эту проблему, мы и разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», — рассказывает старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин.
Для обучения нейросети ученые разработали уникальную базу данных жестов, которые используются глухими людьми при описании явлений, связанных с медициной и здоровьем. Она состоит из 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. При этом видеозаписи всех жестов являются разноракурсными, что повышает их информативность.
Программное обеспечение работает следующим образом: видеокамера фиксирует жесты пациента. Ученые выяснили, что одни и те же жестовые элементы могут значительно различаться в зависимости от возраста и пола пациента, поэтому система учитывает этот фактор для повышения точности интерпретации. Программа автоматически преобразует «увиденное» в текст в режиме реального времени. Точность системы составляет более 90%.
«Мы надеемся, что в перспективе наше приложение позволит упростить оказание медицинских услуг и для врачей, и для людей с ограниченными возможностями. Сейчас мы работаем над созданием удобного интерфейса для программы», — добавляет Дмитрий Рюмин.
Результаты исследования, поддержанного грантом РНФ, опубликованы в научном журнале Scientific and Technical Journal of Information Technologies, Mechanics and Optics.

Павел Процюк

Фото СПб ФИЦ РАН

 

Нет комментариев