Мысли вслух. Сигналы мозга преобразовали в речь

Чтобы улучшить качество коммуникации для пациентов с инвалидностью, американские ученые решили записывать речь непосредственно из мозга. Результаты работы публикует журнал Nature.

Команда исследователей под руководством Эдварда Ченга из Калифорнийского университета в Сан-Франциско предложила свой метод синтеза речи по мозговой активности при движении челюсти, гортани, губ и языка. По их словам, этот двухэтапный метод (распознавания активности мозга, связанной с движением органов речи, и трансформации этих сигналов в слова) сейчас позволяет точнее синтезировать речь, чем если бы добровольцы, к примеру, думали о заданных словах или даже просто предметах.

Ученые использовали сигналы мозга, записанные от пациентов с эпилепсией, которые обладали нормальными речевыми способностями. Добровольцы произносили фразы, а ученые составляли специальные карты, по которым мозг управляет голосовыми связками, языком, гортанью и губами. Затем эти карты применили к специальной компьютерной программе, которая генерировала речь. Во время тестирования искусственной речи более половины времени участники понимали, о чем «говорит» компьютер.

Сегодня существуют устройства, которые преобразовывают движения головы и глаз в речь, но скорость при этом составляет 5-10 слов в минуту. Обычный человек произносит около 150 слов за это же время. А разработанный командой Ченга интерфейс выдает 120-150 слов в минуту на английском языке.

В отдельном эксперименте один человек сначала произносил по одному из 58 предложений, а затем повторял те же движения речевого аппарата, но без звука. Ученым удалось синтезировать речь и на основе сигналов от «немых» движений, хотя ее качество было хуже.

В будущем ученые хотят усовершенствовать работу нейросети так, чтобы ей могли пользоваться парализованные люди. Даже в этом случае мозг все равно отправляет сигналы органам речевого тракта и машина, обученная на активности чужого мозга, синтезирует речь.

Как нейросеть преобразует сигналы мозга в речь Источник: UCSF Neurosurgery

1 комментарий

  • Несомненно наука движется вперёд, особенно последнее время, и контроль над мозгом человека может изменить людей в лучшую сторону, ведь соврать и обмануть уже тогда ни кому не удастся, и по этому враньё станет бессмысленным. Так же не будет и засекреченных архивов , по тому что утаить будет просто не возможно. Достижение науки уметь читать мысли мозга вполне закономерное явление в развитие человека и когда эти достижения будут совершенны, люди наконец то поймут от куда появился человек и в плотную приблизятся к высшему разуму.