МФТИ: Долговременная память для БПЛА
Учёные из Московского физико-технического института (МФТИ) создали интеллектуальный бортовой модуль «Нейропарсер», который преобразует видеопоток с беспилотного летательного аппарата (БПЛА) в структурированную сцену с историей наблюдений и геопривязкой. Это устройство важно для инспекции инфраструктуры, поисковых операций и анализа последствий аварий, где критически важно не только фиксировать объекты, но и идентифицировать их, отслеживать во времени и связывать с координатами.
Как сообщает сайт института, современные беспилотники становятся не просто камерами, а полноценными вычислительными платформами с нейросетями, тепловизорами, лидарами и системами автономного управления. Например, проект МФТИ по разработке бортовой оптической навигационной системы с нейросетевыми алгоритмами («БОСК») демонстрирует возможности автоматического полёта по подстилающей поверхности.
Однако даже самые передовые решения не дают целостной картины наблюдаемой сцены. Операторы вынуждены вручную просматривать видео, запоминать объекты и сопоставлять их с координатами, что делает задачу трудоёмкой.
Для решения этой проблемы учёные МФТИ разработали нейромодуль «Нейропарсер». В отличие от традиционных систем видеоаналитики, которые обрабатывают каждый кадр отдельно, он создаёт историю наблюдений для каждого объекта. Это позволяет не просто отвечать на вопрос «что в кадре?», но и на более сложные: как долго объект наблюдался, перемещался ли он, где находился на карте и насколько можно доверять результату распознавания.
«Наша разработка рассматривает задачу как непрерывную цепочку: сегментация, трекинг, реидентификация, геопривязка и сбор объектной памяти. Ценность заключается не в отдельных звеньях, а в их взаимосвязи. Вместо «в кадре что-то есть», мы получаем запись: «в 10:15 обнаружен объект определённого типа, он наблюдался несколько секунд, его положение связано с координатами БПЛА», — пояснил архитектор проекта, ведущий инженер и кандидат технических наук Иван Фаркатов.
Устройство основано на модульной архитектуре, где каждый компонент выполняет свою функцию: сегментация выделяет контуры объектов, идентификация определяет их класс, трекинг отслеживает их во времени, реидентификация позволяет искать объекты под разными ракурсами, а геопривязка связывает наблюдения с координатами БПЛА, полученными от ГНСС, INS и других навигационных систем. Такой подход исключает попытки «угадать» геометрию сцены с помощью одной нейросети: координаты и положение объекта поступают от навигационного контура БПЛА, а нейросети занимаются только распознаванием и трекингом, что делает систему более надёжной и проверяемой в реальных условиях.
Кадр, координаты БПЛА, параметры камеры и эталон цели преобразуются в объектовую сцену и автоматически оформляются в отчёт.
Каждый объект получает цифровой «паспорт», включающий тип, маску на изображении, идентификатор трека, время наблюдения и координаты. Также формируется эмбеддинг для повторного поиска даже при изменении освещения и ракурса. Это позволяет системе сравнивать наблюдаемые объекты с эталонными изображениями. Если совпадение достаточно сильное, объект фиксируется в памяти сцены и включается в отчёт.
«Нейропарсер» интегрирует существующие алгоритмы в единую систему, превращая БПЛА из простого наблюдателя в устройство с памятью. Это объединяет передовые разработки МФТИ, такие как «БОСК» и «Фасетка», в комплексную интеллектуальную систему. Все эти проекты вместе значительно сократят время выполнения полётного задания за счёт автоматического анализа наблюдаемой сцены.
В перспективе технология найдёт применение в мониторинге территорий, картографировании, анализе последствий аварий и в специальных сценариях, требующих поиска конкретных целей по эталонным изображениям. Ключевая цель проекта — переход от отдельных детекций к полноценной геопривязанной сцене с долговременной памятью.