Российские специалисты из Центра искусственного интеллекта МГУ разработали архитектуру под названием HFF-BiG. Она позволяет компьютеру не просто смотреть на комнату, а буквально раскладывать ее на составные части — стены, мебель и мелкие детали — с невероятной точностью. Новый метод объединяет общую картину и мельчайшие геометрические шероховатости объектов, что критически важно для создания умных роботов и качественной виртуальной реальности. Результаты уже опубликованы в журнале Neurocomputing и превосходят многие существующие аналоги.
Анализ трёхмерных сцен является одной из важных задач компьютерного зрения. Он используется в робототехнике, системах автономной навигации, а также в технологиях дополненной и виртуальной реальности. Чтобы система могла взаимодействовать с окружающей средой, ей необходимо не только распознавать объекты, но и определять их точные границы в трёхмерном пространстве.
Современные методы сегментации трёхмерных сцен используют признаки различных масштабов. Одни признаки помогают определить тип объекта и его место в общей структуре сцены, другие содержат информацию о форме, размерах и деталях поверхности. Однако существующие подходы часто обрабатывают такие признаки независимо друг от друга, что ограничивает качество итогового результата.
Для решения этой проблемы исследователи разработали архитектуру HFF-BiG. Предложенный подход позволяет эффективнее объединять информацию различных уровней и учитывать взаимосвязь между семантическими признаками высокого уровня и геометрическими деталями объектов.
В основе метода лежит механизм двунаправленного управления потоками информации между различными уровнями представления данных. Кроме того, авторы использовали механизм внимания, который помогает системе точнее определять, какие элементы сцены необходимо учитывать при анализе конкретного объекта.
Метод был протестирован на международных наборах данных ScanNetV2, ScanNet200 и S3DIS, которые широко используются для оценки качества алгоритмов анализа трёхмерных сцен. Результаты показали, что предложенный подход демонстрирует результаты на уровне лучших современных методов сегментации, а по ряду показателей превосходит существующие решения. Кроме того, метод позволяет более точно выделять объекты и их границы в сложных сценах помещений.
«Признаки разных масштабов содержат различную информацию о сцене. Крупномасштабные признаки помогают определить семантический контекст объекта, а мелкомасштабные — описывают его геометрические особенности. Мы предложили механизм, который позволяет учитывать эту взаимосвязь и эффективнее объединять информацию разных уровней представления данных. Это позволило повысить качество сегментации трёхмерных сцен и точность выделения отдельных объектов», — отметил научный руководитель Центра ИИ МГУ Антон Конушин.
По словам авторов, предложенный подход может использоваться в робототехнике, системах автономной навигации, а также в технологиях дополненной и виртуальной реальности, где требуется точное понимание структуры окружающего пространства.
Источник: МГУ
Изображение: разработано Мagnific.
