ФИЗТЕХ предлагает мультисенсорный дескриптор для автономной техники
В Институте ИИ МФТИ разработали систему локализации MSSPlace, которая объединяет данные с камер, лидаров и семантических карт, позволяя роботам точно определять своё местоположение в любых условиях. Это особенно важно для создания адаптивных дронов, беспилотных автомобилей, роботов-уборщиков и курьеров, способных ориентироваться в меняющейся среде. Исследование опубликовано в журнале IEEE Access.
Как сообщает портал «ФИЗТЕХ», ранее навигационные системы основывались либо на камерах, не дающих точных расстояний, либо на лидарах, создающих 3D-карты без детализации объектов. Это приводило к тому, что роботы могли «потеряться» даже в знакомых местах при изменении освещения, погоды или расположения предметов. Новая нейросетевая архитектура MSSPlace обрабатывает информацию иначе: отдельные модули независимо анализируют данные с камер, лидаров, семантических масок и текстовых аннотаций. Это позволяет сформировать единый дескриптор — краткое цифровое описание места, которое комплексно характеризует его местоположение.
Робот собирает базу таких дескрипторов при перемещении в пространстве. Когда ему нужно определить своё местоположение, система вычисляет дескриптор текущего места и находит наиболее похожие варианты в базе. Семантические маски, упрощённые изображения с подписями объектов («здание», «дерево», «дорога»), играют ключевую роль. Они нечувствительны к изменениям освещения, времени суток и сезона, что обеспечивает устойчивость «памяти» робота в сложных погодных условиях.
Александр Мелехин, выпускник МФТИ и один из разработчиков системы, пояснил, что обзор мультисенсорного распознавания мест с визуальной и текстовой семантикой включает кодирование входных данных в дескриптор запроса и поиск по алгоритму K-ближайших соседей. Положение ближайшего дескриптора в базе данных рассматривается как ответ.
Система объединяет несколько типов информации вместо того, чтобы полагаться только на один источник, такой как камера или лидар. Дмитрий Юдин, заведующий лабораторией интеллектуального транспорта Центра когнитивного моделирования из Института искусственного интеллекта МФТИ, рассказал, что их метод использует модальности изображений, облаков точек лидара и текстовых описаний сцен. Комплексирование этих данных для точной глобальной локализации роботов остаётся нерешенной научной задачей, особенно в условиях отсутствия или искажений сигналов спутниковой навигации (GPS, Glonass). Результаты исследования вошли в открытую программную библиотеку OpenPlaceRecognition, доступную для всех.
Для расширения набора данных NCLT использовались семантические маски и текстовые описания. Результаты MSSPlace-LIS продемонстрированы на сценах с динамическими объектами и сезонными изменениями из набора данных Oxford RobotCar. Хотя визуализированы только изображения с центральной стереокамеры, используются все ракурсы камер, семантические маски сегментации и облака точек LiDAR.
Такая система необходима для создания беспилотных автомобилей, роботов-уборщиков, курьеров и адаптивных дронов, способных быстро ориентироваться в изменяющейся среде. В будущем учёные планируют адаптировать модель MSSPlace для реальных роботизированных платформ и беспилотных автомобилей, а также решить проблему ориентации на обширных пустых пространствах без уникальных объектов и при экстремальном изменении освещения.