Разработка нейросетевого метода детектирования и распознавания знаков дорожного движения

Детектирование и распознавание знаков дорожного движения играет важную роль в системе управления движением и системе автоматического управления машин.
Целью работы является реализация алгоритмов обработки изображений и машинного обучения для обнаружения и распознавания дорожных знаков на изображениях реальных сцен.

ВВЕДЕНИЕ ………………………………………………………………………………………….. 15
1 ТЕОРИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩИХ АЛГОРИТМОВ И
СИСТЕМ, ИСПОЛЬЗУЕМЫХ ДЛЯ ДЕТЕКТИРОВАНИЯ И
РАСПОЗНАВАНИЯ ЗНАКОВ ДОРОЖНОГО ДВИЖЕНИЯ ……………………. 17
1.1 Обзор действующих систем, применяемых для распознавания знаков
дорожного движения…………………………………………………………………………… 17
1.1.1 Общая архитектура существующих систем …………………………….. 17
1.1.2 Opel Eye ……………………………………………………………………………….. 18
1.1.3 Speed Limit Assist (Mercedes) …………………………………………………. 20
1.1.4 Road Sign Information (Volvo) ………………………………………………… 21
1.1.5 Roadly ………………………………………………………………………………….. 23
1.2 Сравнительный аналитический обзор технических характеристик
существующих систем распознавания знаков дорожного движения ………. 24
1.3 Сравнительный анализ алгоритмов, применяемых для детектирования
и распознавания знаков дорожного движения ………………………………………. 25
1.3.1 Обнаружение объектов по цвету…………………………………………….. 26
1.3.2 Обнаружение объекта по форме …………………………………………….. 29
1.3.3 Метод Максимально Стабильных Экстремальны Областей ……… 34
1.3.4 Алгоритм Виолы-Джонса ………………………………………………………. 35
1.4 Выбор наиболее подходящего алгоритма для реализации
детектирования объектов …………………………………………………………………….. 38
1.5 Распознавание дорожного знака при помощи нейронных сетей …….. 39
1.5.1 Искусственные нейронные сети ……………………………………………… 39
1.5.2 Свёрточные нейронные сети ………………………………………………….. 41
1.6 Знаки дорожного движения …………………………………………………………. 43
2 РАЗРАБОТКА АЛГОРИТМОВ ДЕТЕКТИРОВАНИЯ И
РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ НА ИЗОБРАЖЕНИИ………….. 48
2.1 Общее решение задачи ……………………………………………………………….. 48
2.2 Обучающая выборка GTSRB……………………………………………………….. 48
2.3 Выборка реальных дорожных сцен GTSDB ………………………………….. 49
2.4 Программная реализация …………………………………………………………….. 50
2.4.1 Библиотека Keras ………………………………………………………………….. 51
`
2.4.2 Библиотека OpenCV………………………………………………………………. 51
2.5 Поиск максимально стабильных экстремальны областей ………………. 52
2.6 Обработка изображения фильтрами Габора ………………………………….. 54
2.7 Реализация сверточной нейронной сети на Keras ………………………….. 56
3 РЕЗУЛЬТАТЫ ПРОВЕДЕННОГО ИССЛЕДОВАНИЯ ………………………. 58
3.1 Детектирование областей ……………………………………………………………. 58
3.2 Распознавание полученных областей …………………………………………… 58
4 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение 61
4.1 Организация и планирование работ ……………………………………………… 61
4.1.1 Продолжительность этапов работ …………………………………………… 62
4.2 Расчет сметы затрат на выполнение проекта ………………………………… 67
4.2.1 Расчет затрат на материалы ……………………………………………………. 67
4.2.2 Расчет заработной платы ……………………………………………………….. 67
4.2.3 Расчет отчислений от заработной платы …………………………………. 68
4.2.4 Расчет затрат на электроэнергию ……………………………………………. 69
4.2.5 Расчет амортизационных расходов …………………………………………. 70
4.2.6 Расчет прочих расходов …………………………………………………………. 71
4.2.7 Расчет общей себестоимости разработки ………………………………… 71
4.2.8 Расчет прибыли …………………………………………………………………….. 72
4.2.9 Расчет НДС …………………………………………………………………………… 72
4.2.10 Цена разработки НИР ……………………………………………………………. 72
4.3 Оценка экономической эффективности проекта ……………………………. 72
5 СОЦИАЛЬНАЯ ОТВЕТСВЕННОСТЬ ………………………………………………. 74
Введение ……………………………………………………………………………………………. 74
5.1 Правовые и организационные вопросы обеспечения безопасности … 74
5.1.1 Специальные правовые нормы трудового законодательства …….. 74
5.2 Организационные мероприятия при компоновке рабочей зоны ……… 76
5.2.1 Эргономические требования к рабочему месту ……………………….. 76
5.3 Производственная безопасность ………………………………………………….. 78
5.3.1 Вредные производственные факторы ……………………………………… 79
5.4 Экологическая безопасность ……………………………………………………….. 89
5.4.1 Анализ влияния объекта исследования на окружающую среду … 89
`
5.4.2 Обоснование мероприятий по защите окружающей среды ………. 89
5.5 Безопасность в чрезвычайных ситуациях ……………………………………… 90
5.5.1 Анализ вероятных ЧС, которые могут возникнуть на рабочем
месте при проведении исследований …………………………………………………. 90
5.5.2 Обоснование мероприятий по предотвращению ЧС и разработка
порядка действия в случае возникновения ЧС ……………………………………. 91
5.6 Выводы ……………………………………………………………………………………… 93
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………….. 94
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ ……………………………………….. 95
Приложение А ………………………………………………………………………………………. 99
`

Основной целью работы была реализовать детектирование и
распознавания дорожных знаков. Для достижения этой цели перед
исполнителем был поставлен ряд задач, касающихся изучения существующих
методов выделения объектов на изображении, поиска области знака на
изображениях и распознавания знаков дорожного движения.
Существующие методы поиска объектов на изображениях были
изучены, и был реализован соответствующий алгоритм, позволяющий решить
эту задачу.
Были изучены методы распознавания дорожных знаков, что также было
реализовано с помощью библиотеки OpenCV и Keras. Итоговая программная
система способна распознавать основные из наиболее часто встречающихся
видов дорожных знаков.
Естественно, в реализации остаются места, которые возможно
оптимизировать для лучшей работы, а также возможно реализовать
распознавание нетривиальных (комбинированных) знаков, вид которых не
позволяет распознавать их на данном этапе.
В программе реализованы все шаги, необходимые для корректной
работы в различных условиях: возможность настраивать фильтры,
автоматическое форматирование различных видов входных и выходных
данных в соответствии с требованиями программы.
`

1.OpelEye[Электронныйресурс]Точкадоступа:
https://www.opel.com/ (дата обращения 18.03.20)
2.Speed Limit Assist (Mercedes) [Электронный ресурс] Точка
доступа: https://www.mercedes-benz.co.uk/ (дата обращения 18.03.20)
3.Road Sign Information (Volvo )[Электронный ресурс] Точка
доступа: https://www.volvocars.com/ (дата обращения 19.03.20)
4.Roadly[Электронныйресурс]Точкадоступа:
https://www.roadarlabs.com/ (дата обращения 19.03.20)
5.Желтов С. Ю. Обработка и анализ изображений в задачах
машинного зрения. // М.: Физматкнига, 2010. — 672 с
6.Прэтт У. Цифровая обработка изображений. М.: Мир, 1982. – 311
с.
7.Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный
подход. – Вильямс, 2004. – 928 с.
8.X. Gao, L. Podladchikova, D. Shaposhnikov, K. Hong, and N.
Shevtsova, “Recognition of traffic signs based on their colour and shape features
extracted using human vision models,” Journal of Visual Communication and Image
Representation, vol. 17, no. 4, pp. 675–685, 2006.
9.Lopez, L. Color-based road sign detection and tracking. Image Analysis
and Recognition / L. Lopez, O. Fuentes // Lecture Notes in Computer Science. –
Springer. – 2007. – P. 1138-1147.
10.Xiaoju Ma, Bo Li, Ying Zhang, Ming Yan. «The Canny Edge Detection
and Its Improvement» Kunming University of Science and Technology Kunming
China 2012:
11.Khaled Hammouda, “Texture Segmentation using Gabor Filters”,
Course Project of SD775 at the University of Waterloo, Ontario, Canada, May 2003,
12.Petra Bosilj, Ewa Kijak and Sébastien Lefèvre. Beyond MSER:
Maximally Stable Regions using Tree of Shapes. // Proceedings of the British
`
Machine Vision Conference (BMVC), pages 169.1-169.13. BMVA Press,
September 2015.
13.P.E. Forssén. Maximally stable colour regions for recognition and
matching. // In Computer Vision and Pattern Recognition, 2007. CVPR’07. IEEE
Conference on, pages 1–8. IEEE, 2007.
14.Donoser, M. and Bischof, H. Efficient Maximally Stable Extremal
Region (MSER) Tracking. // Conference on Computer Vision and Pattern
Recognition, 2006 IEEE Computer Society Conferenceon, volume 1, pages 553–
560. IEEE, 2006
15.Š. Obdržálek and J. Matas. Object recognition using local affine frames
on maximally stable extremal regions. // In Toward Category-Level Object
Recognition, pages 83–104. Springer, 2006.
16.Mikolajczyk, K., Tuytelaars, T., Schmid, C., Zisserman, A., Matas, J.,
Schaffalitzky, F., Kadir, T., Gool, L.V.: A comparison of affine region detectors. //
International Journal of Computer Vision 65 (2005) pages 43–72
17.P. Viola and M. Jones, “Robust real-time object detection,” in
International Journal of Computer Vision, 2001.
18.Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2006. –
1104 c.
19.Каллан Р. Основные концепции нейронных сетей // Пер. с англ. —
М. Издательский дом «Вильямс», 2001.
20.Тадеусевич Р. Элементарное введение в технологию нейронных
сетей с примерами программ: пер. с пол. // Р. Тадеусевич [и др.]. — М.: Горячая
линия-Телеком, 2011. — 408 с.
21.Zhang, Z.; Li, Y.; He, X.; Yuan, W. CNN Optimization and its
application in traffic signs recognition based on GRA. J. Residuals Sci. Technol.
2016, 13, 6
22.Горбачев, М. Г. Безопасное вождение современного автомобиля /
М.Г. Горбачев. – М.: Рипол Классик, 2017. – 256 c.
`