Разработка алгоритмов классификации объектов дорожного движения на изображениях и видеопоследовательностях
Программная реализация системы распознавания дорожной разметки, знаков, сигналов светофора и участников дорожного движения в потоковом видео
Введение ………………………………………………………………………………………………….. 16
Обзор литературы …………………………………………………………………………………….. 18
1 . Анализ предметной области и средств разработки 19
1.1 OpenCV ………………………………………………………………………………………………. 19
1.2 Dlib …………………………………………………………………………………………………….. 20
1.3 TensorFlow и Keras ………………………………………………………………………………. 23
1.4 ImageAI ………………………………………………………………………………………………. 25
2 . Разработка алгоритмов 27
2.1 Детектирование полосы дорожной разметки …………………………………………. 28
2.2 Детектирование светофоров и классификация их сигналов …………………….. 30
2.3 Детектирование и классификация дорожных знаков ………………………………. 31
3 . Программная реализация 34
3.1 Детектор дорожной разметки ……………………………………………………………….. 36
3.1.1 Детектор границ Canny …………………………………………………………………….. 36
3.1.2 Поиск области интереса ……………………………………………………………………. 41
3.1.3 Вычисление и отрисовка направляющих ……………………………………………. 42
3.2 Модуль обнаружения и распознавания сигналов светофора ……………………. 44
3.2.1 Обучение модели детектора ……………………………………………………………… 45
3.2.2 Реализация блока классификатора …………………………………………………….. 47
3.3 Модуль распознавания дорожных знаков ………………………………………………. 48
3.3.1 Бинаризация изображения ………………………………………………………………… 48
3.3.2 Детектирование контуров …………………………………………………………………. 50
3.3.3 Референсная классификация ……………………………………………………………… 50
3.4 Обнаружение участников дорожного движения …………………………………….. 53
3.4.1 Выбор архитектуры нейронной сети ………………………………………………….. 54
3.4.2 Настройка модели детектора …………………………………………………………….. 54
3.4.3 Встраивание детектора в систему ……………………………………………………… 55
4 . Тестирование разработанных программных средств 57
4.1 Подготовка данных для тестирования …………………………………………………… 57
4.2 Тестирование системы …………………………………………………………………………. 59
5 . Социальная ответственность 63
Введение ………………………………………………………………………………………………….. 63
5.1 Правовые и организационные вопросы обеспечения безопасности …………. 63
5.1.2 Организационные мероприятия при компоновке рабочей зоны …………. 64
5.2 Производственная безопасность …………………………………………………………… 66
5.2.1 Анализ вредных и опасных факторов ………………………………………………. 66
5.2.2 Обоснование мероприятий по защите исследователя от действия
опасных и вредных факторов …………………………………………………………………….. 71
5.3 Экологическая безопасность ………………………………………………………………… 72
5.4 Безопасность в чрезвычайных ситуациях ………………………………………………. 74
5.4.1 Анализ вероятных ЧС …………………………………………………………………….. 74
5.4.2 Обоснование мероприятий по предотвращению ЧС и разработка порядка
действия в случае возникновения ЧС …………………………………………………………. 75
Выводы и рекомендации ……………………………………………………………………………. 77
6 . Финансовый менеджмент, ресурсоэффективность и ресурсосбережение 78
6.1 Оценка коммерческого и инновационного потенциала научных
исследований ……………………………………………………………………………………………. 78
6.1.1 Потенциальные потребители результатов исследований …………………… 78
6.1.2 Анализ конкурентных технических решений ……………………………………. 79
6.1.3 SWOT-анализ …………………………………………………………………………………. 79
6.2 Планирование научно-исследовательских работ ……………………………………. 81
6.2.1 Структура работ в рамках научного исследования ……………………………. 81
6.2.2 Определение трудоемкости выполнения работ …………………………………. 82
6.2.3 Разработка графика проведения научного исследования …………………… 83
6.3 Бюджет научно-технического исследования (НТИ) ……………………………….. 85
6.3.1 Расчет затрат на специальное оборудование для научных
(экспериментальных) работ ……………………………………………………………………….. 85
6.3.2 Основная заработная плата исполнителей темы ……………………………….. 86
6.3.3 Дополнительная заработная плата …………………………………………………… 88
6.3.4 Отчисления во внебюджетные фонды (страховые отчисления) ………….. 88
6.3.5 Прочие прямые затраты ………………………………………………………………….. 89
6.3.6 Накладные расходы ………………………………………………………………………… 90
6.3.7 Формирование бюджета затрат научно-исследовательского проекта …. 90
6.4 Определение ресурсной (ресурсосберегающей), финансовой, бюджетной,
социальной и экономической эффективности исследования ………………………… 91
Заключение ………………………………………………………………………………………………. 94
Список использованной литературы …………………………………………………………… 95
Приложение А ………………………………………………………………………………………….. 99
Приложение Б– Детектор дорожной разметки …………………………………………… 120
Приложение В «Lines.py» ………………………………………………………………………… 121
Приложение Г Обучение HOG-SVM детектора …………………………………………. 123
Приложение Д Модуль классификации сигналов светофора ………………………. 124
Приложение Е Модуль детектирования и классификации знаков дорожного
движения ………………………………………………………………………………………………… 125
Приложение Ж Модуль распознавания участников дорожного движения …… 126
Приложение З Подготовка детектора для модуля распознавания участников
дорожного движения ……………………………………………………………………………….. 127
Приложение И Полный код разработанной системы распознавания объектов
дорожного движения ……………………………………………………………………………….. 128
В настоящее время набор задач, решаемых системами компьютерного
зрения, приобретает всё большую область распространения.
Большинство таких задач подразумевает собой использование методов
обработки изображений с помощью нейронных сетей. Такой подход позволяет
создавать полноценные системы компьютерного зрения, способные в полной
мере анализировать происходящее на исходном изображении и координировать
внешнюю систему, основываясь на результатах проведённого анализа.
В области транспортных средств, технологии компьютерного зрения
также имеют широкий диапазон использования. Наиболее полновесными
задачами для таких систем являются задачи активной и пассивной помощи
водителю.
Рассматриваемые в данной работе методы классификации объектов
дорожного движения являются базой для создания системы анализа ситуации
на дорожном полотне.
В технической литературе описаны методы детектирования отдельных
типов объектов дорожного движения, позволяющие найти на изображении тот
или иной объект, однако полноценных систем, позволяющих детектировать (а
также классифицировать) достаточное количество объектов для комплексного
анализа ситуации на дорожном полотне в открытом доступе обнаружить не
удалось. Поэтому в процессе выполнения работы, алгоритм решения задачи
создания классификации объектов дорожного движения был разделён на
следующие этапы, позволяющие выделить распознавание наиболее ключевых
объектов и провести их классификацию отдельно для каждого из таких
объектов:
исследование и реализация алгоритма детектирования дорожной
полосы;
исследование и реализация алгоритма детектирования светофоров;
реализация алгоритма классификации сигналов светофора;
исследование и реализация алгоритма детектирования и
классификации участников дорожного движения;
исследование и реализация алгоритма детектирования знаков
дорожного движения;
исследование и реализация алгоритма классификации знаков
дорожного движения;
исследование реализованного алгоритма на результативность и
безошибочность выполнения с использованием тестовых примеров.
Объектом исследования в рамках выполнения данной работы является
система анализа ситуации на дорожной полосе. Предметом исследования
являются методы детектирования и классификации объектов на изображении и
видеопоследовательностях.
ОБЗОР ЛИТЕРАТУРЫ
Алгоритмизация детектирования и классификация достаточно часто
упоминается в определённых источниках литературы, однако, большая часть
задач, связанных с распознаванием, не имеют комплексного освещения в
научной литературе, а большая часть алгоритмов представлена в технической
документации к наборам инструментов компьютерного зрения.
В источниках [1] и [5] собраны основные методы, используемые
библиотекой «OpenCV» под Python, необходимые для реализации работы с
изображениями в контексте распознавания объектов поставленной задачи.
В [7] и [8] рассмотрены основные аспекты теории обработки данных на
изображениях с использованием технологии компьютерного зрения.
«Основные концепции нейронных сетей» Каллана Р. [12] раскрывают
основные понятия, связанные с нейронными сетями, а также раскрывают
тематику базовых моделей нейронных сетей, важные для понимания основных
принципов работы нейронных сетей.
Книга [11] является относительно новой научно-технической
литературой, которая освещает основные аспекты глубокого машинного
обучения. В данном источнике описываются новые архитектуры и алгоритмы
обучения, раскрывающие новые методологии и подходы к алгоритмам
распознавания объектов.
1 АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ И СРЕДСТВ РАЗРАБОТКИ
Решение задачи анализа, детектирования и классификации объектов на
В рамках выполнения задания выпускной квалификационной работы были
получены следующие результаты:
проведён обзор литературы в области систем распознавания объектов и
компьютерного зрения;
сформулирована актуальность решаемой задачи;
сформулирована техническая постановки задачи;
произведена алгоритмизация блоков для реализации системы
распознавания объектов дорожного движения;
произведён анализ технических средств разработки, выбрана наиболее
оптимальная среда для реализации системы;
разработан модуль детектирования дорожной разметки;
разработан модуль детектирования и классификации светофоров;
разработан модуль классификации знаков дорожного движения;
разработан модуль детектирования и классификации участников
дорожного движения.
проведено тестирование корректности работы программы на тестовых
данных.
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
5 (1241 отзыв)
4.8 (211 отзывов)
4.3 (248 отзывов)
5 (49 отзывов)
5 (174 отзыва)
4.4 (59 отзывов)
4.4 (93 отзыва)
4.8 (373 отзыва)
5 (428 отзывов)
