Применение методов искусственного интеллекта для разработки алгоритма онлайн трекинга множества объектов в режиме реального времени

Интеллектуальные системы видеонаблюдения в настоящее время пользуются всё большей популярностью, благодаря способности автоматизировать задачи, которые обычно выполнимы только человеком. К таким задачам относится задача трекинга объектов в видеопотоке.
В работе описывается разработка алгоритма онлайн трекинга множества объектов в режиме реального времени с применением методов искусственного интелекта. Для отслеживания объектов в видеопотоке был разработан нейросетевой алгоритм онлайн трекинга множества объектов на основе подхода трекинга с помощью детекций, получаемых нейросетевым детектором, с применением методов глубокого обучения. Результаты тестирования работы алгоритма показали высокие значения метрик точности и производительности.

ВВЕДЕНИЕ …………………………………………………………………………………………………. 14

1 Аналитический обзор предметной области ………………………………………………… 16

1.1 Задача трекинга множества объектов …………………………………………………… 16

1.2 Существующие методы трекинга множества объектов…………………………. 17

1.3 Методы оценки качества работы алгоритма трекинга множества объектов
…………………………………………………………………………………………………………………. 21

2 Разработка алгоритма онлайн трекинга множества объектов в режиме
реального времени ………………………………………………………………………………………. 24

2.1 Разработка архитектуры алгоритма трекинга множества объектов ……….. 24

2.2 Разработка методов детектирования для алгоритма трекинга множества
объектов …………………………………………………………………………………………………… 27

2.3 Разработка методов предсказания движения для алгоритма трекинга
множества объектов ………………………………………………………………………………….. 29

2.4 Разработка методов извлечения графических признаков для алгоритма
трекинга множества объектов……………………………………………………………………. 36

2.5 Разработка методов вычисления метрик схожести для алгоритма трекинга
множества объектов ………………………………………………………………………………….. 37

2.6 Разработка методов ассоциации …………………………………………………………… 41

2.7 Конфигурация разработанного алгоритма трекинга множества объектов 41

2.8 Разработка методов оценки трафика на основе результатов алгоритма
трекинга множества объектов……………………………………………………………………. 42

3 Разработка программных средств для онлайн трекинга множества объектов в
режиме реального времени ………………………………………………………………………….. 46

3.1 Программные инструменты ……………………………………………………………… 46

3.2 Программная архитектура……………………………………………………………………. 46

4 Исследования алгоритма онлайн трекинга множества объектов в режиме
реального времени с использованием разработанных программных средств … 50

4.1 Условия проведения исследований ………………………………………………………. 50

4.2 Выбор метода детектирования для разработанного алгоритма трекинга
множества ………………………………………………………………………………………………… 50

4.3 Выбор методов искусственного интеллекта, применяющихся на разных
этапах, алгоритма трекинга множества объектов……………………………………….. 52

5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение……. 58

5.1 Предпроектный анализ ………………………………………………………………………… 58

5.1.1 Потенциальные потребители результатов исследования …………………. 58

5.1.2 Анализ конкурентных решений ……………………………………………………… 60

5.1.3 SWOT-анализ ………………………………………………………………………………… 62

5.1.4 Цели и результаты проекта …………………………………………………………….. 66

5.2 Планирование научно-исследовательских работ ………………………………….. 66

5.2.1 Структура работ в рамках научного исследования ………………………….. 66

5.2.2 План проекта …………………………………………………………………………………. 67

5.2.3 Бюджет научного исследования ……………………………………………………… 70

5.3 Вывод………………………………………………………………………………………………….. 78

6 Социальная ответственность …………………………………………………………………….. 80

6.1 Правовые и организационные вопросы обеспечения безопасности ………. 80

6.2 Производственная безопасность ……………………………………………………….. 81

6.2.1 Отклонение показателей микроклимата………………………………………….. 81

6.2.2 Превышение уровня шума ……………………………………………………………… 82

6.2.3 Недостаточная освещенность рабочей зоны ……………………………………. 83

6.2.4 Нарушение предельно допустимых значений напряжений
прикосновения и токов …………………………………………………………………………… 86
6.3 Обоснование мероприятий по снижению воздействия вредных
производственных факторов ……………………………………………………………………… 87

6.4 Экологическая безопасность………………………………………………………………… 87

6.5 Безопасность в чрезвычайных ситуациях …………………………………………….. 88

6.6 Выводы по разделу …………………………………………………………………………… 89

6.7 Законодательные акты ……………………………………………………………………… 90

ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 92

СПИСОК ИСТОЧНИКОВ ……………………………………………………………………………. 94

ПРИЛОЖЕНИЕ A ……………………………………………………………………………………….. 99

ПРИЛОЖЕНИЕ Б ………………………………………………………………………………………. 117

ПРИЛОЖЕНИЕ В ……………………………………………………………………………………… 118

ПРИЛОЖЕНИЕ Г ………………………………………………………………………………………. 119

ПРИЛОЖЕНИЕ Д ……………………………………………………………………………………… 120

В ходе выполнения работы были получены следующие результаты:
 изучены существующие методы, применяющиеся при решении
задачи трекинга;
 разработана собственная архитектура алгоритма онлайн трекинга
множества объектов на кадрах видеопоследовательностей на основе подхода
трекинга с помощью детекций; особенностью разработанного алгоритма
является возможность гибкой настройки применяемых на разных этапах работы
методов искусственного интеллекта;
 разработаны программные средства для онлайн трекинга множества
объектов в режиме реального времени на основе межпроцессорной
архитектуры;
 в результате проведения экспериментов была выбрана
конфигурация методов искусственного интеллекта для применения на разных
этапах онлайн алгоритма трекинга в режиме реального времени (MOTA 0,3808,
обработка до 40 кадров в секунду, степень загруженности CPU – 200%, расход
GPU – 1507 МБ), включающая такие методы, как нейросетевой метод
детектирования YOLOv4 для локализации и классификации объектов,
использование фильтра Калмана и вектора скорости для предсказания
движения, использование IOU в качества метрики схожести и алгоритма поиска
потока минимальной стоимости для ассоциации детекций и отслеживаемых
объектов;
 исследования применения методов искусственного интеллекта на
разных этапах работы алгоритма трекинга множества объектов показали, что в
дальнейшей разработке следует уделять внимание способности методов
работать в разных условиях с зашумлѐнными данными, а также оптимизации
использования методов в составе алгоритма трекинга;
 разработанный алгоритм онлайн трекинга множества объектов в
режиме реального времени был внедрѐн в состав ядра платформы для оценки
трафика на видеозаписях и видеопотоках, снятых с помощью камер
статического видеонаблюдения, Visius, где демонстрирует погрешность
подсчѐта количества объектов, пересекающих линии, от 0 до 23,21 % по
сравнению с человеком, решающим аналогичную задачу, и способность
обрабатывать одновременно четыре видеопотока со скоростью от 5 до 12
кадров в секунду (свидетельства о государственной регистрации программы
для ЭВМ и акт внедрения программы представлены в приложениях Г и Д
соответственно);
 результаты по теме работы были представлены на Международной
научно-практической конференции студентов, аспирантов, молодых учѐных
«МСИТ-2021». Доклад был отмечен дипломом.
Таким образом, цель работы была достигнута.