Не заблудиться в зазеркалье. Ученые расставляют ориентиры в виртуальном мире.

В предыдущем номере “Поиска” мы начали рассказывать о работах, поддержанных грантами РФФИ  для ведущих молодежных коллективов. Очередной материал на эту тему посвящен исследованиям в области трехмерных технологий.

3D-технологии решительно завоевывают зрелищную индустрию. И успешно пробуют свои силы в других сферах. Естественно, не сами по себе, а с помощью ученых, в числе которых группа сотрудников лаборатории систем трекинга под руководством старшего научного сотрудника, кандидата технических наук Максима Фурсы из Института физико-технической информатики (ИФТИ). Они создают универсальную систему слежения реального времени для установок виртуального окружения. Эта работа получила поддержку РФФИ, одержав победу в конкурсе научных проектов, выполняемых ведущими молодежными коллективами. С руководителем группы побеседовал наш корреспондент.

— Максим Владимирович, хотелось бы, чтобы вначале вы представили институт, в котором работаете. Мне кажется, он не слишком известен широкому кругу наших читателей.
— Институт физико-технической информатики — это независимый НИИ, который занимается развитием современных компьютерных технологий и их внедрением в России для решения задач науки, промышленности, образования. Основное направление деятельности — разработка систем визуализации и виртуального окружения. Институт основан в 1994 году при участии Министерства образования РСФСР, Министерства атомной энергетики РФ, МГУ, МФТИ, а также ряда коммерческих компаний. ИФТИ расположен в подмосковном Протвино, а его представительства — в Москве, Новосибирске, Германии, Сингапуре. Системы виртуального окружения, разработанные в нашем институте, используют ведущие научные организации и университеты России: МФТИ, НИВЦ МГУ, ИКИ РАН, МГТУ им. Н.Э.Баумана и другие. В ИФТИ работают более 60 крупных российских специалистов в таких областях науки и техники, как информатика, математическая физика, математическое моделирование, системное и прикладное программирование, вычислительная математика, информационно-поисковые системы, обработка изображений и сцен, распознавание образов, научная визуализация, нейронные сети, и других. Наш институт ведет исследования и во многих смежных направлениях информатики — от теоретических основ квантовых суперкомпьютеров до теории самоорганизации сложных технологических и социальных систем. С 1995 по 2013 год наши сотрудники выполнили более 90 проектов, поддержанных грантами РФФИ. Замечу также, что ИФТИ — базовая организация кафедры физико-технической информатики МФТИ.
— Надо полагать, вы тоже обу­чились своей будущей специальности в Физтехе?
— Действительно, я учился в МФТИ в конце 1990-х и еще в то время участвовал в разработке симулятора столкновений элементарных частиц. Мы моделировали процессы на Большом адронном коллайдере в ЦЕРН, по которым можно было бы сделать выводы о существовании бозона Хиггса — частицы, которую “окончательно открыли” в марте этого года. Меня особенно увлек процесс создания математических и программных моделей, а также интеграции их в единое целое.
Получив диплом магистра, я поступил в аспирантуру. По рекомендации заведующего кафедрой Станислава Клименко уехал на стажировку в один из институтов Германии. Темой работы была виртуальная реальность. Мы занимались визуализацией, причем изображения формировались несколькими проекторами, создавая стереоэффект. Для этого наблюдатель должен был надевать специальные очки. Эти очки обеспечивали получение разных изображений правым и левым глазом, создавая 3D-эффект. Это сейчас телевизор с поддержкой трехмерного эффекта можно купить за тысячу долларов, а в то время стоимость оборудования для реализации такой технологии составляла несколько сотен тысяч и оно было большой редкостью в институтах.
Перед нами стояло много задач: создание доступных по цене комплексов виртуальной реальности, программного обеспечения для работы с такими комплексами, разработка приложений для различных областей науки, техники, искусства. Мы проводили эксперименты по психофизическому восприятию трехмерных зрительных данных. Моделировали архитектурные и технические решения, например нереализованные работы архитектора Ивана Леонидова или орбитальную станцию “Мир”. Реконструировали поверхности мраморных статуй для сохранения культурного наследия, позволяя искусствоведам проводить эксперименты, невозможные с реальными изваяниями. Создавали модели упругих деформаций для анализа компоновки кабелей электропитания и тормозных шлангов автомобилей.
Я также занимался разными темами, в том числе системой слежения. Исследовательские и промышленные установки виртуальной реальности, как правило, довольно крупные (например, установка типа CAVE — это комната размером 3 на 3 метра с экранами на всех стенах и на полу). Для расчета правильной проекции изображений на экранах требуется определить точное местоположение пользователя в пространстве установки. Если этого не делать, изображения будут казаться искаженными и неестественными. Кроме того, пользователю нужно как-то взаимодействовать с виртуальным миром — своего рода зазеркальем. Клавиатура и мышь для этого не подходят по двум причинам. Во-первых, для них нужна поверхность, а пользователь должен свободно перемещаться внутри установки. Во-вторых, они предназначены для работы с двухмерными, а не с трехмерными изображениями. Тут на помощь и приходит система слежения, которая наблюдает за движениями пользователя, а также за движениями и событиями интерактивных устройств, которые используются для навигации в виртуальном мире и взаимодействия с его элементами. Можно долго теоретизировать о том, что собой представляют установки виртуальной реальности, как они и взаимодействие с ними могут выглядеть в будущем. Неплохое представление об этом дает видеоролик “World Builder”, созданный Брюсом Бранитом, его можно увидеть на youtube.
— А представление о работе, поддержанной грантом РФФИ, хотелось бы получить от вас.
— Универсальная оптическая система слежения, которую мы разрабатываем, состоит из нескольких видеокамер, они должны фиксировать перемещения маркеров в пространстве. В качестве маркеров можно использовать материалы, отражающие инфракрасный свет, или просто инфракрасные светодиоды вроде тех, что стоят в пультах дистанционного управления. Если такой маркер виден на изображениях как минимум двух камер, то можно вычислить его положение в некоторой трехмерной системе координат. Грубо говоря, если у нас есть модель комнаты, мы можем узнать, где конкретно в этой модели находится маркер. Если же у нас есть устройство с несколькими маркерами, мы можем вычислить не только положение этого устройства в пространстве, но и его ориентацию. Система позволяет отслеживать перемещение пользователя в пространстве установки и направление его взгляда. В качестве интерактивного устройства обычно используется указка с закрепленными на ней маркерами. Если вы находитесь в пространстве виртуального окружения, указка трансформируется в луч. Этот луч можно пересечь с любым объектом. Если при этом нажать на кнопку устройства, объект можно “захватить” и переместить в другое место. Одна из наших задач — сделать систему доступной по цене. Для этого нужно относительно недорогое оборудование.
Многие современные камеры могут изменять фокусное расстояние и направление обзора, подчиняясь инструкциям компьютера. Это позволяет расширить рабочую область системы и повысить точность ее работы. Наша система должна быть максимально независима от оборудования, но при этом поддерживать его потенциальные возможности. Процесс обработки изображений от видеокамер довольно сложен: нужно компенсировать оптические искажения, найти маркеры на всех изображениях, вычислить их трехмерные координаты, затем положение и ориентацию отслеживаемых устройств в пространстве. Только после этого данные можно передать системе виртуальной реальности так, чтобы она могла отреагировать на движение. Причем все это должно происходить в реальном времени, при минимальной задержке между движением пользователя и его регистрацией.
В рамках проекта на грант РФФИ мы разрабатываем математические и программные средства, необходимые для создания системы слежения, и объединяем их в единый программный комплекс. Кроме того, мы строим испытательный стенд с системой виртуального окружения и видеокамерами для апробации комплекса.
Нужно еще провести большую теоретическую подготовку: проанализировать имеющееся сегодня на рынке оборудование, а также новые методы и библиотеки обработки изображений. Следует оценить потенциальные недостатки существующих методов и попробовать преодолеть их. Дальше — вырабатываем архитектуру решения, разрабатываем программный код на основе выбранных или созданных методов и элементов, интегрируем код в единый программный комплекс и связываем его с оборудованием и установкой виртуального окружения. После этого можно начинать испытания: определять критерии оценки работы системы и постепенно улучшать их, ­вли­яя на весь процесс обработки данных.
Если говорить о конкретных результатах нашей работы, то мы провели анализ методов обработки изображений, на основе которых будем делать программный комплекс, и уже выработали архитектуру решения. Также мы проанализировали оборудование, заказали нужное и недавно собрали наш испытательный стенд. Сейчас находимся в процессе создания программного комплекса. Его испытания запланированы на этот год.
Наша мечта — разработка такой системы слежения, которая могла бы реагировать на действия пользователя без применения маркеров или посторонних устройств. Не за горами появление голографических экранов, которые позволят наблюдать трехмерные сцены без специальных очков (использование маркеров отпадет за ненадобностью). К тому же уже сейчас можно вводить текст в компьютер силой… мысли. Можно про себя думать о какой-то букве, и она появится на экране. Система слежения будущего может быть основана на распознавании жестов и интерпретации мыслей пользователя — вполне возможно, постепенно мы будем двигаться в этом направлении.

Василий ЯНЧИЛИН
Фото из архива М.Фурсы

Нет комментариев