Исследование методов и разработка алгоритмов обнаружения дыма на открытых пространствах по видеопоследовательностям
ВВЕДЕНИЕ………………………………………………………………………………………………. 4
ГЛАВА 1. АНАЛИЗ МЕТОДОВ ДЕТЕКТИРОВАНИЯ ДЫМА ПО
ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯМ ……………………………………………………. 9
1.1. Особенности визуального обнаружения дыма ……………………… 9
1.2. Дым как объект исследования ……………………………………………. 11
1.3. Признаки визуального обнаружения дыма …………………………. 13
1.3.1. Пространственные признаки дыма ………………………………… 14
1.3.2. Временные признаки дыма ……………………………………………. 19
1.4. Алгоритмы раннего обнаружения дыма ……………………………… 24
1.5. Анализ исследовательских и коммерческих программных
комплексов ………………………………………………………………………………………….. 30
1.5.1. Исследовательские программные комплексы ………………… 30
1.5.2. Коммерческие программные комплексы ……………………….. 32
1.6. Выводы по главе ……………………………………………………………….. 42
ГЛАВА 2. ОБНАРУЖЕНИЕ РЕГИОНОВ, ПОХОЖИХ НА ДЫМ ………. 45
2.1. Постановка задачи детектирования дыма по
видеопоследовательности ……………………………………………………………………… 45
2.2. Модель фона для определения глубины сцены …………………… 47
2.2.1. Метод получения темного канала изображения……………… 47
2.2.2. Определение глубины сцены с использованием случайного
марковского поля ……………………………………………………………………………… 49
2.3. Предварительная сегментация областей задымления ………….. 54
2.3.1. Метод сопоставления блоков ………………………………………… 55
2.3.2. Цветовая модель дыма и турбулентность ………………………. 56
2.4. Классификация регионов-кандидатов ………………………………… 58
2.5. Выводы по главе ……………………………………………………………….. 61
ГЛАВА 3. ВЕРИФИКАЦИЯ ГЛОБАЛЬНЫХ РЕГИОНОВ-
КАНДИДАТОВ ………………………………………………………………………………………. 63
3.1. Пространственно-временные локальные бинарные шаблоны 63
3.1.1. . Способы вычисления шаблонов …………………………………… 66
3.1.2. Предварительная обработка шаблонов ………………………….. 68
3.1.3. Способы построения гистограмм…………………………………… 70
3.2. Классификационное правило ……………………………………………… 72
3.3. Эволюционный алгоритм для сглаживания эталонной
гистограммы дыма ………………………………………………………………………………… 74
3.4. Влияние сложных погодных условий и шума …………………….. 78
3.4.1. Слабое освещение …………………………………………………………. 78
3.4.2. Атмосферные осадки (дождь/снег) ………………………………… 80
3.4.3. Шум типа «соль-перец» ………………………………………………… 80
3.4.4. Размытие ………………………………………………………………………. 81
3.4.5. Фильтр Лапласа…………………………………………………………….. 82
3.5. Выводы по главе ……………………………………………………………….. 84
ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ………………….. 85
4.1. Описание тестовых видеопоследовательностей ………………….. 85
4.2. Результаты экспериментальных исследований выделения
регионов-кандидатов …………………………………………………………………………….. 91
4.2.1. Определение глубины сцены …………………………………………. 91
4.2.2. Выделение локальных регионов-кандидатов …………………. 92
4.2.3. Классификация регионов-кандидатов ………………………….. 101
4.3. Верификация глобальных регионов-кандидатов ……………….. 102
4.4. Улучшение эталонной гистограммы дыма ……………………….. 104
4.5. Результаты экспериментальных исследований при сложных
погодных условиях и в условиях шума ………………………………………………… 105
4.5.1. Слабое освещение ……………………………………………………….. 105
4.5.2. Атмосферные осадки …………………………………………………… 106
4.5.3. Шум типа «соль-перец» ………………………………………………. 107
4.5.4. Размытие …………………………………………………………………….. 108
4.5.5. Фильтр Лапласа…………………………………………………………… 109
4.6. Данные других авторов ……………………………………………………. 110
4.7. Выводы по главе ……………………………………………………………… 113
ЗАКЛЮЧЕНИЕ ……………………………………………………………………………………. 116
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ …………………………….. 118
ПРИЛОЖЕНИЕ А – СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММ ДЛЯ ЭВМ ……………………………………………………………………….. 135
ПРИЛОЖЕНИЕ Б – АКТЫ О ВНЕДРЕНИИ………………………………………. 138
ПРИЛОЖЕНИЕ В – СПИСОК ИСПОЛЬЗОВАННЫХ СОКРАЩЕНИЙ
………………………………………………………………………………………………………………. 140
ПРИЛОЖЕНИЕ Г – РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНЫХ
ИССЛЕДОВАНИЙ ВЫДЕЛЕНИЯ РЕГИОНОВ-КАНДИДАТОВ ……… 141
ПРИЛОЖЕНИЕ Д – ДАННЫЕ ЭТАПА КЛАССИФИКАЦИИ
РЕГИОНОВ-КАНДИДАТОВ ……………………………………………………………….. 150
ПРИЛОЖЕНИЕ Е – ДАННЫЕ ЭТАПА ВЕРИФИКАЦИИ РЕГИОНОВ-
КАНДИДАТОВ …………………………………………………………………………………….. 151
ПРИЛОЖЕНИЕ Ж – ПРИМЕРЫ РАБОТЫ АЛГОРИТМА
ДЕТЕКТИРОВАНИЯ ДЫМА ………………………………………………………………. 153
ПРИЛОЖЕНИЕ З – ТЕСТОВЫЕ ДАННЫЕ ЭТАПА ВЕРИФИКАЦИИ
СО СЛОЖНЫМИ ПОГОДНЫМА УСЛОВИЯМИ И ШУМОМ………… 156
Актуальность работы. Раннее обнаружение дыма как объективного
признака начинающегося пожара является важной задачей экологического
мониторинга, как лесных массивов, так и городских территорий. Традицион-
ные способы детектирования дыма, основанные на тепловых детекторах или
химическом анализе продуктов сгорания, становятся бесполезными на от-
крытых пространствах, так как вследствие ряда метеорологических факторов
(ветер, дождь, снег и т.д.) происходит быстрое уменьшение концентрации
продуктов сгорания в воздухе. Мониторинг пожара на открытых пространст-
вах возможен с использованием систем видеонаблюдения, которые позволя-
ют детектировать дым на значительном расстоянии и независимо от источ-
ника дыма (лесной или техногенный пожар). Существующие методы детек-
тирования дыма по видеопоследовательности, как правило, используют не-
сколько признаков, например, применение цветовых и текстурных характе-
ристик дыма, нахождение движения в сцене, мерцания, определение краев.
Однако реальные условия съемки вносят артефакты, затрудняющие обнару-
жение такой сложной динамической текстуры, как дым. К артефактам, кото-
рые могут существенно затруднить работу системы детектирования дыма на
открытых пространствах, относятся объекты с динамическим поведением,
помехи оборудования, сложные метеорологические условия, а также недос-
таточное естественное освещение. Таким образом, в настоящие время задача
детектирования дыма на видеопоследовательности является актуальной
вследствие сложности объекта исследования – произвольных форм, динами-
ческих и фрактальных свойств, вариаций внутри класса, а также из-за возни-
кающих шумов на изображениях.
Методам детектирования дыма на открытых пространствах и созданию
на их основе систем обнаружения пожара посвящены исследования, прово-
димые в ряде университетов таких, как Bilkent University (Турция), Cankaya
University (Турция), Полоцкий государственный университет (Республика
Беларусь), Московский государственный университет (Москва), Санкт-
Петербургский национальный исследовательский университет информаци-
онных технологий, механики и оптики (С.-Петербург), Сибирский государст-
венный аэрокосмический университет (Красноярск). Значительный вклад в
развитие методов раннего обнаружения дыма внесли ученые: F. Juan, A. E.
Cetin, U. Toreyin, Р.П. Богуш, Н.В. Бровко, А.А Лукьяница и другие. В на-
стоящее время программные комплексы реализуют алгоритмы детектирова-
ния дыма по видеопоследовательностям с относительно невысокой точно-
стью распознавания до 86–94% и значительным количеством ложных сраба-
тываний. Таким образом, повышение эффективности раннего обнаружения
дыма на открытых пространствах является актуальным.
Целью диссертационной работы является повышение эффективности
детектирования дыма на открытых пространствах по видеопоследовательно-
стям с существенным уменьшением ошибок распознавания первого и второ-
го рода.
Для достижения цели были поставлены следующие задачи:
1. Провести анализ существующих методов, алгоритмов и систем
детектирования дыма по видеопоследовательностям на открытых простран-
ствах.
2. Разработать метод сегментации областей, похожих на дым, на
видеопоследовательности.
3. Разработать метод верификации полученных областей-
кандидатов, похожих на дым.
4. Выполнить проверку эффективности работы алгоритмов детек-
тирования дыма по видеопоследовательностям, содержащим артефакты, свя-
занные с погодными условиями и шумом на изображении.
5. Создать программный комплекс, реализующий алгоритмы пред-
варительной сегментации и верификации полученных областей, позволяю-
щий оценить качество работы алгоритмов.
6. Провести экспериментальные исследования эффективности
предложенных решений.
Методы исследований. Для решения поставленных в работе задач ис-
пользовались методы теории цифровой обработки изображений, теории ин-
формации, методы теории распознавания образов и анализа данных, методы
объектно-ориентированного программирования.
Научная новизна.
1. Предложен метод сегментации областей, похожих на дым, ис-
пользующий совокупность пространственно-временных признаков дыма с их
последующей классификацией на основе технологии бустинговых случайных
лесов, отличающийся от существующих методов повышенной точностью
сегментации и уменьшением числа ложных срабатываний.
2. Разработан новый метод верификации областей-кандидатов с ис-
пользованием пространственно-временных локальных бинарных шаблонов,
позволяющий повысить точность детектирования и уменьшить число лож-
ных срабатываний и пропуска событий. Также исследованы модификации
пространственно-временных локальных бинарных шаблонов, позволяющие
достичь большей эффективности применения методов текстурного анализа
для верификации.
3. Разработан алгоритм классификации областей задымления с ар-
тефактами съемки, размытием и сложными метеорологическими условиями,
позволяющий алгоритмически скомпенсировать их влияние на качество де-
тектирования дыма по видеопоследовательностям.
4. Построена модель фона, позволяющая избирательно назначать
весовые коэффициенты различным признакам в зависимости от глубины
сцены, повышая тем самым точность сегментации дыма для сцен с незначи-
тельной и существенной глубиной.
Практическая значимость. Предложенные в диссертационной работе
методы и алгоритмы предназначены для практического применения в систе-
мах экологического мониторинга лесных массивов, как с применением ста-
ционарного наземного оборудования, так и беспилотных летательных аппа-
ратов. Разработанные методы и алгоритмы являются основой для реализации
дополнительной функции, а именно, обнаружение задымлений системами
городского видеонаблюдения, а также видеонаблюдения за сложными техно-
генными объектами (территориями заводов, аэродромами, морскими и реч-
ными портами и т.д.).
Основные положения, выносимые на защиту.
1. Метод сегментации областей, похожих на дым, с их последую-
щей классификацией на основе технологии бустинговых случайных лесов.
2. Метод верификации областей-кандидатов с использованием про-
странственно-временных локальных бинарных шаблонов.
3. Алгоритм классификации областей задымления с артефактами
съемки, размытием и сложными метеорологическими условиями.
4. Модель фона, учитывающая глубину сцены.
Внедрение результатов диссертационной работы. Результаты дис-
сертационного исследования переданы в ООО «Системы промышленной ав-
томатизации» для дальнейшего использования, о чем получен Акт №1 от
06.04.2016. Получен Акт о внедрении результатов диссертационного иссле-
дования в учебный процесс кафедры информатики и вычислительной техни-
ки Института информатики и телекоммуникаций от 08.09.16. Получены сви-
детельства о регистрации программ для ЭВМ №2015615904 от 27.05.2015 –
«Система обнаружения областей задымления на видеопоследовательности с
применением локальных бинарных шаблонов», №2015662901 от 20.10.2015 –
«Система детектирования дыма по зашумленным видеоизображениям»,
№2016613827 от 07.04.2016 – «Система сегментации областей дыма на ви-
деопоследовательности».
Апробация работы. Основные результаты работы докладывались и
обсуждались на 17-й и 18-й международных конференциях «Цифровая обра-
ботка сигналов и ее применение» (Москва, 2015 и 2016 гг.), XIX-й междуна-
родной научно-практической конференции, посвященной 55-летию Сибир-
ского государственного аэрокосмического университета имени академика
М.Ф. Решетнева «Решетневские чтения» (Красноярск, 2015 г.), III Междуна-
родной научной конференции «Региональные проблемы дистанционного
зондирования Земли» (Красноярск, 2016 г.), 19th International Conference on
Knowledge Based and Intelligent Information and Engineering Systems (Синга-
пур, 2015 г.), 20th International Conference on Knowledge Based and Intelligent
Information and Engineering Systems (Великобритания, 2016 г.).
Соответствие диссертации паспорту специальности. Диссертацион-
ное исследование соответствует области исследований специальности
05.13.17 – Теоретические основы информатики по п. 7. «Разработка методов
распознавания образов, фильтрации, распознавания и синтеза изображений,
решающих правил» и п. 5. «Разработка и исследование моделей и алгоритмов
анализа данных, обнаружения закономерностей в данных и их извлечениях
разработка и исследование методов и алгоритмов анализа текста, устной речи
и изображений».
Публикации. По результатам диссертационного исследования опубли-
ковано 12 печатных работ, из которых 3 изданы в журналах, рекомендован-
ных ВАК, 2 в журналах, индексируемых в Scopus, 4 в материалах докладов, 3
свидетельства о регистрации программы, зарегистрированных в Российском
реестре программ для ЭВМ.
Объем и структура работы. Диссертация состоит из введения, четы-
рех глав, заключения и восьми приложений. Полный объем диссертации 157
страницы текста с 47 рисунками и 31 таблицами. Список использованных ис-
точников содержит 152 позиции.
В работе представлены методы и алгоритмы детектирования дыма по
видеопоследовательностям. Предложен комбинированный алгоритм выделе-
ния регионов-кандидатов, похожих на дым, для верификации таких регио-
нов-кандидатов использованы методы текстурного анализа. Основные ре-
зультаты работы представлены ниже.
1. Проведен анализ существующих методов детектирования дыма на
открытых пространствах с использованием систем видеонаблюдения. Пока-
зано, что большинство методов детектирования дыма на видеоизображениях
основано на выделении движения, цветовых и текстурных особенностях, по-
зволяющих разделить классы дым и отсутствие дыма. Как правило, для де-
тектирования дыма применяют сочетание нескольких классификаторов.
2. Разработан метод получения областей-кандидатов, позволяющий
выделить на видеоизображении области, похожие на дым. Предварительная
сегментация областей задымления осуществляется методом сопоставления
блоков, при этом на предварительно выделенные блоки накладываются мас-
ки цвета и турбулентности для уточнения свойств дыма. Для классификации
регионов-кандидатов впервые использованы бустинговые случайные леса.
3. Предложен алгоритм верификации регионов-кандидатов, похожих
на дым, с помощью пространственно-временных локальных бинарных шаб-
лонов, которые учитывают информацию о текстуре из текущего кадра и двух
соседних кадров относительно центрального пиксела. Это позволяет учесть
больше текстурных особенностей и тем самым повысить точность верифика-
ции. Рассмотрены пространственно-временные локальные бинарные шабло-
ны, локальные тернарные шаблоны и расширенные бинарные шаблоны. При
этом исследовано построение шаблонов с пересечением или без пересечения,
применение различных радиусов шаблона и различных типов гистограмм.
Для построения решающего правила использовано расстояние Кульбака-
Лейблера. Показана эффективность использования методов текстурного ана-
лиза для верификации областей-кандидатов, похожих на дым. Предложено
использование эволюционного алгоритма для улучшения эталонной гисто-
граммы дыма, позволяющее обеспечить повышение точности детектирова-
ния и уменьшить при этом значения ошибок первого и второго рода.
4. Предложен алгоритм обработки изображений, содержащих
артефакты, связанные с атмосферными явлениями такими, как морось и
дымка, а также недостаточным освещением. Исследован метод
пространственно-временных локальных бинарных, локальных тернарных и
расширенных бинарных шаблонов детектирования густого и прозрачного
дыма при наличии следующих артефактов: шума типа «соль-перец» со
значениями до 10 дБ; аддитивного белого шума Гаусса, имитирующего
атмосферные осадки; размытия изображений и слабой освещенности с
применением алгоритма Ретинекс. Разработанный метод верификации дыма
обеспечивает точность верификации 96–99% для густого и 86–94 % для
прозрачного дыма в зависимости от артефактов и шумов.
5. Эффективность предложенных методов и алгоритмов подтверждена
экспериментальными исследованиями, проведенными на 40 тестовых
видеопоследовательностях, содержащих изображения прозрачного и/или
густого дыма, движущихся людей, движущийся транспорт, сложный
динамический фон. При этом в некоторых «дымных»
видеопоследовательностях дым присутствовал не на всем протяжении
съемки, что позволило оценить не только качество работы по количеству
найденных кадров с дымом, но и скорость срабатывания системы. Системе
потребовалось 5–12 кадров для обнаружения дыма, что является хорошим
результатом из-за медленного распространения дыма и прозрачности дыма в
ранней фазе. Среднее значение точности детектирования дыма составляет
94,86%, среднее значение ошибки второго рода по всем
видеопоследовательностям составило 6,39%. Полученные значения ложной
тревоги говорят о том, что потенциальные источники ложных срабатываний,
в основном, фильтруются.
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
5 (1241 отзыв)
5 (49 отзывов)
0 (13 отзывов)
4.8 (373 отзыва)
4.5 (330 отзывов)
4.8 (105 отзывов)
4.8 (30 отзывов)
5 (158 отзывов)
5 (174 отзыва)
