Учёные смогли восстановить короткие видеоролики, используя только активность мозга мышей. По сути, исследователи получили возможность приблизительно воссоздать то, что животное видело перед собой, наблюдая за работой его нейронов.
Работа специалистов Университетского колледжа Лондона может помочь разобраться, каким образом мозг превращает поступающую от глаз информацию во внутреннюю картину окружающего мира.
Подобные эксперименты проводились и раньше с людьми. Добровольцам показывали изображения и фильмы, одновременно фиксируя активность мозга, а затем пытались восстановить увиденное вплоть до отдельных пикселей.
Однако новая работа отличается тем, что исследователи использовали данные не от крупных участков мозга, а от отдельных нервных клеток мышей. Такая информация позволяет гораздо подробнее увидеть, как зрительные образы представлены внутри мозга.
Учёные записывали активность клеток зрительной коры, пока мыши смотрели видео. Для этого применялся микроскопический метод, позволяющий определять активные нейроны по локальному повышению концентрации кальция.
Затем исследователи использовали модель, способную предсказывать, как отдельные нейроны должны реагировать на видеоряд. При этом учитывалась не только сама картинка, но и движения животного, а также изменение размера его зрачков.
После этого учёные рассчитали, какой должна была бы быть активность тех же клеток, если бы мышь смотрела на пустой экран, и сравнили её с реальными сигналами мозга во время просмотра фильма.
Далее алгоритм начинал с полностью пустого видеоролика и постепенно изменял его пиксели. После каждого изменения он проверял, насколько получившаяся картинка соответствует зарегистрированной активности нейронов. Шаг за шагом изображение всё больше начинало напоминать видео, которое действительно видела мышь.
После обучения системы исследователи устроили более сложную проверку.
Мыши показали новый ролик, которого алгоритм раньше никогда не видел. Затем системе дали только запись активности мозга животного — без самого исходного видео.
По этим данным удалось восстановить десятисекундный ролик, похожий на тот, который показывали мыши.
Причём качество реконструкции становилось выше по мере того, как исследователи использовали данные от большего количества отдельных нейронов. Это указывает на то, что подробность записи мозговой активности напрямую влияет на то, насколько точно можно восстановить увиденную сцену.
Эксперимент также показал, что система не просто запоминала ранее показанные изображения. Она смогла извлечь визуальную информацию из активности мозга, возникшей при просмотре совершенно нового ролика.
Чтобы оценить точность результата, исследователи сравнивали соответствующие пиксели оригинального и восстановленного видео. По времени изображения совпадали достаточно хорошо, хотя качество самой картинки и размер восстанавливаемой области пока остаются ограниченными.
Учёные рассчитывают в дальнейшем получать более подробные данные, чтобы повысить разрешение и восстановить большую часть поля зрения животного.
Но конечная цель работы выходит далеко за рамки простого «чтения» картинки из мозга.
Исследователей интересует разница между реальным миром и тем, как его представляет мозг.
Зрение работает не как видеокамера. Мозг постоянно обрабатывает поступающую информацию, что-то усиливает, что-то отбрасывает и в определённой степени изменяет воспринимаемую картину.
По словам авторов, у человека и животных нет идеальной копии внешнего мира внутри головы. Система зрительной обработки неизбежно искажает и преобразует информацию.
Причём такие изменения необязательно являются ошибкой. Напротив, они могут быть важной особенностью восприятия, показывающей, каким образом мозг интерпретирует и дополняет поступающие от органов чувств сигналы.
Теперь учёные хотят использовать новый метод именно для этого: сравнивать объективную картину перед глазами животного с тем, какое представление о ней в действительности формируется в его мозге.
