Повышение точности позиционирования камеры в системе прикладного телевидения с использованием расширенного фильтра Калмана

Актуальность темы исследования. На сегодняшний день системы
технического зрения широко востребованы в разных областях науки, техники, медицины и промышленности. Техническое зрение может применяться для создания различных радиотехнических систем, примерами которых могут выступать системы прикладного телевидения (СПТ). Системы прикладного телевидения предназначены для передачи и приема изображений в промышленности, науке, образовании, медицине, военном деле, сфере безопасности и других областях.
Многие задачи, которые решают СПТ требуют получения информации о месторасположения того или иного объекта и локализации камеры. С помощью такой информации можно решить такие задачи как обнаружение и оценка параметров движущихся объектов, навигации в пространстве, автоматизирования процессов видеофиксации требуемых событий, исследования труднодоступных или опасных для человека мест. Сложность задачи определения месторасположения объектов и локализации камеры характеризуется множеством самых разнообразных проблем, начиная с неравномерного освещения и заканчивая проблемами различных радиопомех и переотражений от внешних источников сигналов. Также сложность решения этой задачи связана с затруднениями в отдельных случаях реализации каналов связи. Из-за указанных проблем возникает необходимость в создании СПТ, способных решать задачи определения месторасположения объектов в плохо обусловленных и зашумленных средах.
Перспективным, быстро развивающимся и востребованным направлением в СПТ являются одновременная локализация и картографирование (SLAM). Значительный вклад в разработку методов и алгоритмов решения задачи SLAM внесли работы П. Смита, П. Чизмена, В.И. Кобера, Е.Н. Сосновой, С.Л. Зенкевича, В.С. Лемпицкого, А. Девисона, Р. Парра, А. Элизара, Д.В. Солдатовой и др. Многие соответствующие приложения в робототехнике и техническом зрении требуют быстрого построения трехмерных карт окружающей среды и оценки положения камеры относительно этой карты. Мобильной платформе с камерой нужно, например, знать свое местоположение в окружающей среде для того, чтобы безопасно перемещаться. Эта проблема является традиционной и сложной, поскольку для локализации камеры в окружающей среде требуется трехмерная модель, а для ее построения, в свою очередь, требуется знать месторасположение камеры. Следовательно, и траектория движения камеры, и трехмерная модель должны оцениваться одновременно [1].
Задача SLAM – синхронное определение местоположения и составление карты. Она связана с построением карты неизвестного пространства мобильным устройством во время навигации по строящейся карте. Проблема одновременной локализации и построения карты является фундаментальной задачей при создании автономных мобильных платформ, и алгоритм SLAM в этом случае является базовым методом для многих навигационных систем.
Алгоритмы SLAM позволяют решать следующие задачи:
1) Создание беспилотных транспортных средств и систем помощи водителю. Решение этой задачи обеспечивает повышение мобильности населения, эффективности грузопассажирских перевозок, повышение безопасности дорожного движения, снижение экологической нагрузки на окружающую среду, повышение комфортности для водителей и
пользователей транспорта.
2) Поиск и спасение людей. С помощью алгоритмов SLAM беспилотный
летательный аппарат (БЛА, БПЛА) способен быстро находить человека и доставлять жизненный важный груз, а также детектировать опасность. Тем самым это дает возможность вовремя обнаружить, оказать первую медицинскую помощь и эвакуировать в безопасное
место терпящих бедствие людей. 7

3) Детектирование и сопровождение объектов. В настоящее время идет широкое внедрение систем видеоаналитики в различные сферы жизни людей. С помощью алгоритмов SLAM можно способствовать решению таких задач, как наблюдение за объектами интереса или посторонними, обнаружение несанкционированного проникновения на охраняемые зоны или появления человека в опасных зонах. Также алгоритмы SLAM могут стать важной составляющей любой интеллектуальной транспортной системы.
4) Исследование труднодоступных мест. Алгоритмы SLAM могут применяться при оперативном получении точной информации о радиационной, химической и биологической обстановке местности для дальнейшего планирования эффективных мер по ликвидации опасности, а также для построения детальных карт при поиске различных ресурсов.
5) Исследование космоса. При исследовании поверхности планет необходимы аппараты, оснащенные автономной навигационной системой, позволяющей им передвигаться по сложному рельефу местности. Такая система должна работать несколько лет, строить точную карту и давать оценку локализации относительно нее, а также должна быть способна рационально использовать энергетические ресурсы аппарата.
Кроме того, существует множество практических применений SLAM
как средства получения информации в областях пространства, недоступных людям или опасных для них. На сегодняшний день работы в данной области направлены на повышение точности локализации, улучшение эффективности вычислений и решение проблем объединения данных. Таким образом, задача одновременной локализации и построения карты является крайне важной и актуальной.
Степень разработанности темы. Задача локализации может быть
решена с помощью других систем, таких как системы глобального 8

позиционирования (GPS, ГЛОНАСС и др.) или системы локального позиционирования (локальные беспроводные сети WLAN, Bluetooth-маяки, RFID метки и т.д.), но эти системы либо имеют высокую погрешность, либо неудовлетворительно работают в плохо обусловленных и зашумленных средах.
Основными преимуществами способа локализации с помощью алгоритма SLAM перед другими способами являются:
1) Отсутствие необходимости реализации различных сетей.
2) Отсутствие необходимости знания заранее заданных координат
опорных точек и предварительной разметки местности.
3) Способность работать в плохо обусловленных и зашумленных средах.
4) Низкие экономические затраты: для реализации СПТ с алгоритмом
SLAM в простейшем случае необходимы всего пара датчиков и
одноплатный компьютер.
5) Построение детализированной карты, с помощью которой автономные
мобильные платформы могут взаимодействовать с окружающей
средой.
Также SLAM имеет следующий недостаток:
1) Ошибка локализации имеет свойство накапливаться. Однако есть,
например, алгоритмы замыкания, которые частично решают эту проблему.
На сегодняшний день существует множество различных подходов к
задаче SLAM с использованием разных типов сенсоров: лидаров, сонаров, камер. Исследования разработок в данной области показывает, что на сегодняшний день основными методами являются методы на основе расширенного фильтра Калмана, фильтра частиц и графов.
Решения, основанные на расширенном фильтре Калмана, дают более высокую точность построения карты по сравнению с фильтром частиц при одинаковом количестве ориентиров, но имеют квадратичную вычислительную сложность и высокую чувствительность к соответствию ориентиров.
Алгоритмы SLAM, основанные на фильтре частиц, имеют линейную вычислительную сложность и возможность убирать ошибочные соответствия ориентиров, но ошибки каждой частицы привносят вклад в общую карту и накапливаются с течением времени.
Алгоритмы, использующие графы, представляют карту в виде узлов (месторасположения камеры в определенные моменты времени) и ребер (оценку перемещения между двумя позициями камеры). Это дает линейную зависимость требуемой памяти от количества объектов на карте и делает обновление графа постоянным по времени. Однако данные алгоритмы имеют высокую вычислительную сложность внутри узла, что связано с решением задачи поиска ближайших точек. Кроме того, окончательная оптимизация графа также может потребовать больших вычислительных затрат.
В каждой области, где требуется определить месторасположения камеры, существуют свои требования к точности нахождения месторасположения. Например, для дорожной навигации во многих случаях достаточно точности в 5 метров. С другой стороны, для создания автономных транспортных средств необходима высокая точность определения местоположения, с целью предотвращения аварий и соблюдения правил дорожного движения.
Алгоритмы SLAM являются рекуррентными алгоритмами, у которых текущая оценка месторасположения зависит от предыдущей оценки. Если немного повысить точность оценки месторасположения на каждой итерации, то значительно повысится результирующая оценка. При плохой точности алгоритмы невозможно применять для построения карт крупномасштабных сцен и решать задачи навигации по ним. Таким образом, существует научная проблема, связанная с необходимостью повышения точности построения карты и локализации относительно нее, а также уменьшения вычислительной
сложности используемых алгоритмов. 10

Основной целью работы является повышение точности оценки месторасположения камеры в системе прикладного телевидения.
Для достижения указанной цели в диссертационной работе решаются следующие задачи:
1. Разработка алгоритма одновременной локализации и построения карты с использованием камеры и лазерной сканирующей системы.
2. Разработка алгоритма визуальной одометрии с использованием сферической модели камеры.
3. Определение матриц измерения и якобиана для ориентира типа «особая точка» с использованием сферической модели камеры.
4. Улучшение алгоритмов детектирования пространственных ориентиров по данным лазерной сканирующей системы.
5. Исследование алгоритмов одновременной локализации и построения карты на основе расширенного фильтра Калмана.
6. Сравнение визуальных алгоритмов одновременной локализации и построения карты.
Объектом исследования является измерительная система прикладного телевидения в составе автономной мобильной платформы.
Предметом исследования являются алгоритмы цифровой обработки изображений и дальнометрических данных, позволяющие детектировать ориентиры и локализовать камеру в пространстве найденных ориентиров.
Методы исследования. При решении поставленных задач использовались современные методы прикладного телевидения, цифровой обработки сигналов и изображений, технического зрения, статистической радиотехники, математической статистики и линейной алгебры. Для практической реализации алгоритмов применялись современные методы программирования на языке высокого уровня Python 2.7 с использованием библиотеки компьютерного зрения OpenCV 3.0, библиотеки матричных вычислений NumPy, библиотеки для выполнения научных и инженерных
расчетов SciPy, фреймворка для программирования робототехнических 11

систем Robot Operating System Kinetic (ROS Kinetic), трехмерного динамического симулятора Gazebo с возможностью точного и эффективного моделирования робототехнических систем и инструмента визуализации Rviz. Моделирование и экспериментальные исследования предлагаемых алгоритмов выполнялись на мобильной платформе с установленной камерой и лидаром.
Научная новизна
Получены следующие новые научные результаты:
1. Разработан обобщенный алгоритм EKF-SLAM, отличающийся
возможностью интеграции нескольких типов датчиков и использования нескольких оценок состояния системы, полученных разным путем, для уточнения параметров системы в расширенном фильтре Калмана. Алгоритм отличается тем, что позволяет рассматривать сложные динамические системы (например, группу мобильных платформ), формировать и обрабатывать локальные карты по заданным критериям.
2. Разработан алгоритм одновременной локализации камеры и построения карты и его модификации с использованием камеры и лазерной сканирующей системы, отличающиеся интеграцией двух типов датчиков в расширенном фильтре Калмана, применением сферической модели камеры и контурного анализа. Алгоритм позволяет строить карту, состоящую из вектора состояния и ковариационной матрицы, двумерную карту проходимости, а также трехмерную карту окружающей среды.
3. Улучшены алгоритмы детектирования пространственных ориентиров по данным лазерной сканирующей системы. Алгоритмы отличаются дополнительным преобразованием данных лидара в комплекснозначный сигнал и его делением на сегменты.
4. Разработан алгоритм построения локальных карт с равномерным использованием ориентиров. Алгоритм отличается от остальных алгоритмов построения локальных карт тем, что учитывает корреляцию между всеми ориентирами с сохранением линейной
вычислительной сложности.
5. Разработан алгоритм реконструкции трехмерной сцены. Алгоритм
отличается тем, что в процессе реконструкции используются панорамные изображения, полученные с камеры с объективом типа «рыбий глаз», а также учитывается сферическая модель камеры. Практическая значимость
1. Предложен обобщенный алгоритм EKF-SLAM, позволяющий рассматривать сложные динамические системы, использовать несколько оценок состояния системы для повышения точности, а также формировать и обрабатывать локальные карты. Это позволяет рационально контролировать точность построения карты, определения месторасположения и вычислительные ресурсы. Таким же способом можно обобщить и другие алгоритмы на базе расширенного фильтра Калмана, применяемые в других областях науки, техники и промышленности.
2. Предложен и реализован на языке высокого уровня алгоритм одновременной локализации и построения карты на основе цифровой обработки телевизионных изображений и данных лазерной сканирующей системы с использованием системы прикладного телевидения. Данный алгоритм позволяет строить траекторию движения мобильной платформы, карту проходимости и трехмерную карту окружающей среды. Ошибка определения месторасположения мобильной платформы разработанного алгоритма составляет 0.88±0.73 м по метрике RPE и 0.09±0.08 м по метрике ATE.
3. Получены результаты исследования применимости различных подходов и особенностей реализации задачи одновременной локализации и построения карты в системе прикладного телевидения.
4. Предложен способ представления данных лидара в комплекснозначный
сигнал (контур). Такой способ представления дает возможность 13

применять корреляционные и спектральные методы обработки сигналов к данным лидара.
Достоверность полученных научных результатов обеспечивается
корректным использованием математического аппарата и экспериментальными данными, подтверждающими теоретические выкладки и результаты схожих российских и зарубежных исследований.
Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях:
– Девятая научно-техническая конференция «Техническое зрение в системах управления 2019», Москва, 2019;
– Международная конференция формирования и обработки сигналов «СИНХРОИНФО», Ярославль, 2019;
– Международная конференция формирования и обработки сигналов «СИНХРОИНФО», Минск, 2018;
«Системы синхронизации, в инфокоммуникациях
«Системы синхронизации, в инфокоммуникациях
– Двадцать третья международная инновационной ассоциации FRUCT, Болонья, 2018;
конференция открытой
– Двадцать четвертая международная конференция открытой инновационной ассоциации FRUCT, Москва, 2019.
– Ярославские региональные конференции молодых ученых и аспирантов.
Публикации. По теме диссертации опубликовано 13 научных работ, из них 3 статьи в изданиях из перечня ВАК, 5 статей, индексируемых в SCOPUS, получено Свидетельство о государственной регистрации программы для ЭВМ.
Основные научные положения и результаты, выносимые на защиту
1. Алгоритм одновременной локализации и построения карты на основе
цифровой обработки телевизионных изображений и данных лазерной 14

сканирующей системы для применения в системах прикладного телевидения, обеспечивающий повышение точности позиционирования до 0,88±0,73 м по метрике RPE и 0,09±0,08 м по метрике ATE, за счет добавления дополнительной оценки состояния системы и пренебрежения избыточной и ошибочной корреляцией между мобильной платформой и ориентирами.
2. Улучшения алгоритмов детектирования пространственных ориентиров по данным лазерной сканирующей системы, обеспечивающие вероятность детектирования ориентира до 90%, за счет применения предварительной обработки данных.
3. Обобщенный алгоритм EKF-SLAM, позволяющий рассматривать сложные динамические системы и применять алгоритмы построения и обработки локальных карт, за счет построения вектора состояния и ковариационной матрицы из соответствующих матриц выбранных объектов системы.
Личный вклад автора. Выносимые на защиту положения предложены
и реализованы автором самостоятельно в ходе выполнения научно- исследовательских работ на кафедре инфокоммуникаций и радиофизики Ярославского государственного университета им. П.Г. Демидова.
Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка использованных источников и приложения.
Первая глава диссертации посвящена описанию основной проблемы задачи одновременной локализации и построения карты. Приведено описание, основные особенности и отличия алгоритмов SLAM на базе расширенного фильтра Калмана и на базе фильтров частиц. Сравниваются различные типы сенсоров, такие как лидар, сонар и камера. Приводятся принципы работы сенсоров, их основные характеристики, преимущества и недостатки. Рассматривается такое направление, как визуальный SLAM, в котором в качестве датчика используется камера. Приводится описание популярных алгоритмов: ORB SLAM, LSD-SLAM и RGB-D SLAM.
Вторая глава посвящена разработке алгоритма одновременной локализации и построения карты с использованием камеры с объективом типа «рыбий глаз» и лазерной сканирующей системы, а также его модификации.
На основе проведенного анализа разработан обобщенный алгоритм EKF-SLAM. На основе обобщенного алгоритма разработан EKF-SLAM с использованием камеры с объективом типа «рыбий глаз» и лидара, который состоит из 6 основных этапов:
1) Получение и синхронизация данных;
2) Обнаружение ориентиров в пространстве;
3) Поиск соответствий ориентиров;
4) Оценка месторасположения камеры и ориентиров;
5) Уточнение месторасположения камеры и ориентиров;
6) Построение трехмерной карты.
Все этапы алгоритма подробно описаны. Каждый из этих этапов можно
реализовать с помощью ряда различных алгоритмов. Приведено несколько таких алгоритмов для некоторых этапов.
Рассмотрено два типа ориентиров, применяемых в алгоритме: ориентир типа «угол» и ориентир типа «особая точка». Для каждого ориентира подсчитаны матрицы измерения и их якобианы. Показаны две основные проблемы обнаружения ориентиров по данным лидара: недостающие данные и окклюзия. В связи с этим предложены детекторы с использованием контурного анализа.
Предложен алгоритм поиска соответствия ориентиров с помощью камеры. Поскольку многие способы восприятия, такие как зрение, предоставляют богатую информацию о форме, цвете и текстуре, все они могут быть использованы для поиска соответствия между двумя наборами ориентиров.
Реализованы два алгоритма построения и обработки локальных карт: EKF SLAM с адаптивным диапазоном наблюдения и EKF-SLAM «разделяй и властвуй». На основе проведенного анализа этих алгоритмов разработан алгоритм EKF-SLAM с равномерным использованием ориентиров.
Третья глава посвящена экспериментальным исследованиям предполагаемых алгоритмов. Приводятся результаты исследования по определению оптимальных параметров детекторов обнаружения ориентиров, таких как размер окна, порог.
Рассмотрены две метрики для сравнения работы алгоритмов SLAM: ошибка RPE (относительная ошибка месторасположения) и ATE (абсолютная ошибка траектории).
В заключении изложены основные итоги диссертационного исследования, сформулированы научные и практические результаты диссертации.