Система мониторинга пожарной и медико-экологической безопасности с использованием анализа видеоданных с беспилотных летательных аппаратов

Во введении обоснована актуальность темы исследования,
определены цели и задачи диссертационной работы, ее научная новизна и
практическая значимость, выбраны методы исследования, сформулированы
задачи, приведены сведения об апробации и внедрении результатов
диссертационной работы.
В первом разделе выполнен обзор методов и средств обнаружения
пожаров и их распознавания. Подчеркнута роль мониторинга и
автоматизированных систем контроля пожарной и медико-экологической
безопасности. Развитие телевизионных технологий и методов распознавания
изображений позволило при применяемых технико-экономических затратах
создавать высококачественные телевизионные системы обнаружения
пожаров на более ранних стадиях и решать задачи высококачественной
оценки и прогноза пожарной обстановки.
Проблемасвоевременногообнаруженияпожаров позволяет
предотвратить огромные экономические потери и человеческие жертвы,
поэтому является актуальной для многих стран мира. Огромные средства,
затрачиваемые на пожаротушение, можно сберечь, если пожар будет
обнаружен на стадии возникновения. Традиционными являются наземный,
авиационный и спутниковый методы мониторинга автономных
территориальных единиц. Авиационный и спутниковый методы эффективны
при обнаружении пожаров, которые занимают значительную площадь.
Кроме того, эти методы сопряжены со значительными затратами.
Следовательно, необходимы дальнейшие исследования, которые позволят
улучшить характеристики обнаружения систем видео обнаружения пожара
при одновременном снижении количества ложных срабатываний.
В заключение первого раздела формируются цель и задачи
исследования.
Во втором разделе в соответствие с выбранной целью и задачами
исследования определен объект исследования в виде метода, моделей,
алгоритмов и технических средств, решающих задачи обнаружения и
прогнозирования развития пожарной обстановки с последующим принятием
решений о рациональной организации борьбы с пожарами. Одновременно с
этим решаются задачи прогнозирования и оценки состояния здоровья людей.
С учетом особенностей решаемых задач и накопленного опыта по
синтезу решающих правил в условиях нечеткой структуры данных и плохой
формализации предлагается метод синтеза математических моделей оценки
пожарной обстановки и состояния людей, находящихся в зоне пожара,
который включает следующие основные этапы.
1. С учетом особенностей объекта исследования и возможных
пожарных рисков определяются диапазоны контролируемых параметров,
которые определяют пространство признаков для синтезируемых
математических моделей.
2. В условиях полной определенности с типами пожаров, излучаемых
электромагнитных диапазонов, выделяемого состава химических веществ
решающие правила имеют традиционный продукционный вид:

ЕСЛИ Qi ТО Ri,(1)

где Qi – известная реакция датчиков, располагаемых на выбранных типах
платформ; Ri – принимаемые стандартные решения.
Правила типа (1) соответствуют общепринятым требованиям,
определяемым руководящими документами и ГОСТами.
3. Если решается задача обучения системы на распознавание
различных типов пожаров с нечетко определяемыми параметрами и при
отсутствии обучающих выборок достаточного объема, для синтеза
соответствующих решающих правил используются гибридные технологии
обучения с минимизацией пространства признаков и построением функций
принадлежности к исследуемым классам пожаров.
4. В условиях пункта 3 с учетом рекомендаций методологии синтеза
гибридных нечетких решающих правил (МСГНРП) и квалиметрии создается
экспертная группа специалистов в области пожарной безопасности, которая
обучается приемам работы с нечеткими структурами данных. На первом
этапе исследований эксперты выбирают максимально технически
оправданное количество признаков хi, описывающих возможные диапазоны
электромагнитных волн, температур и видов вредных химических веществ,
порождаемыхвозможнымитипамипожаров.Подвыбранные
информативные признаки подбирается группа датчиков с возможностью
регистрации и запоминания результатов измерений.
5. В соответствии с рекомендациями МСГНРП производится
построение функций принадлежности к исследуемым классам пожарной
обстановки  р (р=1,…,Р), которые агрегируются в искомые решающие
правила вида:


UР р  FР р  р ( хi ) ,(2)

где UР р – уверенность в классификации пожарной обстановки с
идентификатором р;  р ( хi ) – функции принадлежности к классу с именем р
для базовой переменной (информативного пожарного признака) хi ; FР р –
функция агрегации для класса  р .
6. При наличии репрезентативных обучающих выборок по классам
пожаров  р , модель типа (2) может быть уточнена путем использования
обучаемой искусственной нейронной сети NPp с последующим сравнением
качества работы NPp c UPp. При этом возможны варианты обратного
перехода к модели (2) или перехода к гибридной модели вида:

GPp=FGp(UPp, NPp),(3)

где GPp – функция классификации гибридного типа; FGp – соответствующая
функция агрегации.
При использовании искусственных нейронных сетей в качестве одного
из источников данных о пожарах могут быть применены видеокамеры, тогда
процесс обучения будет проводиться как задача анализа сцен (распознавание
на видеоизображениях пожаров).
7. Если для оценки пожарной обстановки планируется использование
нескольких неподвижных и (или) подвижных платформ, могут ставиться и
решаться задачи уточнения координат возгорания, мониторинга динамики и
(или) прогнозирования развития пожара. Например, если диагностическая
платформа установлена на летающем роботе, то для уточнения координат
пожара и его характера организуется движение аппарата в сторону
максимального значения заданного параметра (концентрация СО,
температура, интенсивность электромагнитного излучения).
Для решения задачи прогноза развития пожара определяется
направление и скорость изменения значений выбранного параметра,
возможно с расчетом траектории движения платформы с датчиками с целью
уточнения прогноза.
8. Синтез моделей прогнозирования и оценки состояния здоровья
людей находящихся в зоне действия пожара осуществляется с
использованием модели
cit
Z i f i ()f i ( t i),(4)
c pipi

где c pi , t pi – резистентные концентрации вредных веществ hi и времен, при
которых отсутствуют риски перехода в патологию  ; f i (  ) –
соответствующие нормировочные функции по веществам и временам с
областью определения [0,…,1]; d- условные обозначения решаемых задач (d
= п- прогноз; d = р- ранняя стадия; d = д- дифференциальный диагноз; d = с-
степень тяжести заболевания).
Переменная Z i используется как базовая переменная для функций
принадлежности d ( Z i )которыепосуществу являютсячастными
решающими правилами по классу  для задач d.
Уверенность UHR d в прогнозе появления и развития исследуемой
патологии, провоцируемойвреднымихимическимивеществами,
находящимися в зоне пожара определяется нечеткой функцией:

d d

UHR d  Ag    ( Z i ) ,(5)

где Ag d – агрегатор функций принадлежности для класса  ; i=1,2,…
Для уточнения принимаемых решений дополнительно использованы
экологические и индивидуальные факторы риска.
На основе предложенного метода получены математические модели
прогнозирования и оценки степени тяжести отравления углекислым газом
при пожарах, которые обеспечивают классификацию таких классов
состояний, как отравления, легкая, средняя, тяжелая и критическая стадии,
переходящие в смерть. В ходе экспертного оценивания и математического
моделирования было показано, что уверенность в правильной
классификации превышает величину 0,95.
В третьем разделе Разработана концептуальнаямодель
автоматизированной система мониторинга пожарной и медико-
экологической безопасности (АСМПМЭБ) с использованием анализа
видеоданныхсБПЛА(рисунок1), отличающаясяналичием
информационной подсистемы, подсистемы анализа и классификации
данных, подсистемы прогнозирования и подсистемы управления,
позволяющая оперативно классифицировать и прогнозировать пожарную и
медико-экологическую обстановку в мониторируемой АТЕ.
Информационная подсистема

Модули воздушногоМодули наземного
наблюдениянаблюдения

Подсистема анализа и
классификации данных

Модули анализа иМодули анализа сигналов
классификации видеоданныхдатчиков

Подсистема прогнозирования
Модули оценки рисковМодули оценки
здоровьяэкологических рисков

Подсистема управления
Модули управленияБаза данных

Метеорологические службы

Рисунок 1 – Структурная схема автоматизированной системы мониторинга
пожарной и медико-экологической безопасности с использованием
видеоданных с беспилотных летательных аппаратов

Особенностью представленной на рисунке 1 структуры является то,
что в состав ее подсистемы анализа и классификации данных введены
модули анализа и классификации видеоданных, поступающие с БПЛА, в
состав подсистемы прогнозирования введены модули оценки риска здоровья
людей, находящихся в зоне мониторинга, а в состав подсистемы управления
введен модуль планирования и управления полетами.
Основным источником информации в АСМПМЭБ является модуль
воздушногонаблюдения.Приегоиспользованиинеобходимо
оптимизировать величину площади, перекрываемой видеокамерой БПЛА и
максимальным временем нахождения БПЛА в полете. Задача определения
оптимальной траектории облета заданной территории наблюдения состоит в
следующем.
Для объекта мониторинга в виде площади АТЕ, которая
аппроксимируется параллелограммами и треугольниками, минимальное
число разворотов, а также минимальная длинна траектории будет
достигаться тогда, когда прямые участки галсов будут параллельны прямой
между двумя наиболее удаленными вершинами многоугольника. Поэтому в
качестве базовой траектории БПЛА при облете АТЕ выбрана траектория,
представленная на рисунке 2.

Рисунок 2 – Базовая траектория облета АТЕ беспилотным летательным
аппаратом

При планировании траектории полета БПЛА в зоне мониторинга АТЕ
необходимо оптимизировать соотношения между ресурсом выбранного
БПЛА, временем одного цикла облета площади АТЕ и оперативностью
сбора данных по пожарной и медико-экологической обстановке в зоне
мониторинга. При решении этой задачи оптимизации также необходимо
выбрать оптимальное число БПЛА над зоной мониторинга. Это достаточно
сложная многокритериальная задача. Поэтому ее решений разделим на два
этапа, которые включим в итерационный процесс. На первом этапе будем
оптимизировать квант площади, доступный для мониторинга одному БПЛА.
На втором этапе оптимизируется соотношение между временем
мониторинга и числом БПЛА, одновременно участвующих в мониторинге
одной АТЕ.
При выборе этой формы траектории руководствовались тем, что
эффективная апертура видеокамеры БПЛА должна покрыть всю площадь
АТЕ за время полета БПЛА от точки старта к точке финиша, с учетом того,
что они фактически совпадают. Под апертурой видеокамеры БПЛА
понимаем активную апертуру, которая равна апертуре видеокамеры b*
умноженной на коэффициент перекрытия k:
 k
b  b *  1   .(6)
2

Маршрут прокладывается так, чтобы края поля зрения камеры
перекрывали соседние поля примерно на k=15% …20%. Если известна
высота полета БПЛА h и угол зрения фотокамеры х  2 , то ширина поля
зрения камеры на этой высоте согласно рисунку 3.5 определяется как

b  2  h  tg .(7)

Ширина зоны перекрытия изображения соседнего поля будет равна:

b
dk .(8)
Используя в качестве базовой траектории БПЛА рисунок 2 и формулы
(6), (7) и (8), разработан метод для оптимизации функционирования модуля
воздушного наблюдения, включающий алгоритм планирования траектории
мониторинга пожарной обстановки БПЛА. Метод позволяет определить
необходимый ресурс БПЛА для мониторинга пожарной обстановки в АТЕ и
оптимизировать число БПЛА в зоне мониторинга АТЕ.
Предложена структура подсистемы прогнозирования медицинских и
экологическихрисковвпожароопаснойзоне,включающая
робототехническую систему в виде мобильной приборной платформы для
мониторинга и анализа состава атмосферы в зоне пожара. Одним из путей
повышения эффективности системы пожарного и медико-экологического
мониторинга является переход к мобильным приборным платформам
(МПП). Осуществлено сравнение стационарных методов определения
координат источника возгорания с МПП и показано, что использование
предложенной системы пожарного и медико-экологического мониторинга на
базе МПП повышает точность определения координат источника
возгорания.
Для классификации снимков из потока видеоданных использовался
метод сегментации, работа которого основана на понятии каскадного окна
Метод позволяет сегментировать кадры видеоданных на прямоугольные
сегменты с последующей селекцией сегментов на ROI и НЕ ROI. Условие
принадлежности сегмента к классу ROI записывается как

Si
 Tпор ,(9)
S

где Si – фоновое значение яркости в сегменте-потомке, S – фоновое значение
яркости в материнском сегменте, Tпор – величина порога (глобальная или
задаваемая на каждом уровне декомпозиции). Пример декомпозиции снимка
с фрагментом пламени представлен на рисунке 3. Исходное изображение
разбивается на четыре сегмента исходя из геометрических размеров снимка.
Затем для каждого из четырех полученных сегментов проверяется условие
(9).

Рисунок 3 – Пример сегментации снимка на первом уровне
декомпозиции
На следующий уровень декомпозиции – второй переходят не все
сегменты, а только те сегменты, для которых выполняется условие (9). Это
условие выполняется для сегмента №1 (рисунок 3), поэтому он переходит на
второй уровень декомпозиции, где в блоке 8 он также делится на четыре
сегмента (рисунок 4).

Рисунок 4 – Декомпозиция сегмента №1 на втором уровне

Сегменты ROI формируют три цветовых каналов и решение о
принадлежности сегмента к конкретному классу принимается независимо в
каждом канале нейронной сетью с линейной функцией активации с
последующей агрегацией этих решений многослойным персептроном с
нелинейной функцией активации (рисунок 5). Структурная схема
представлена для трехальтернативного классификатора сегментов.
Блок“Пламя”
R
формированияNET R
Исходныйдескрипторов R
снимок

“Дым”
БлокGБлокNET
формированияформированияNET G
сегментовдескрипторов G

Блок“Чисто”
B
формированияNET B
дескрипторов B

Рисунок 5 – Структурная схема классификации видеоданных

Маршруты патрулирования дронов согласуются с метеосводками и
дроны направляются в «красные зоны». Это районы, в которых температура
воздуха, направление и сила ветра, влажность и атмосферное давление
повышают вероятность возникновения пожаров. С дрона поток видеоданных
направляется в систему для их анализа. Система определяет на снимках
области, в которых высоки вероятности огня и дыма. Красная рамка или
подсветка на аэроснимке с дрона определяет границы возгорания с высокой
вероятностью. Решение, есть ли на самом деле в этой координате огонь или
дым, принимается ЛПР по результатам анализа потока видеоданных,
обработанных системой.

В четвертом разделе показано, что в мобильную систему
мониторинга, раннего обнаружения и оценки пожарной и медико-
экологическойобстановкицелесообразновключатьгруппировку
беспилотных летательных аппаратов, оснащенных многофункциональной
МПП с размещенными на ней газовыми датчиками, видеокамерами и
навигационным оборудованием. Для организации съема информации с
датчиков задымления и вредных веществ, выделяемых в процессе горения
(СО, СО2, фенолы, формальдегиды) и датчиков температуры предложено
использовать специализированные микрочипы (аналоговые интерфейсы
типа AFE), которые кроме регистрации информации с датчиков решают
задачи усиления, масштабирования, аналоговой и цифровой фильтрации,
формированиястандартныхпротоколовдляподключенияк
микроконтроллерам, контроля работоспособности и калибровки датчиков и
др. Предложены варианты структур мобильной пожарной платформы.
Предусмотрено управление движением беспилотного летательного
аппарата в направлении максимальной величины концентрации вещества,
выбранного программным путем; по траекториям с примерно одинаковой
концентрацией вещества (для построения топологической картины
поражения). Одновременно предусмотрен механизм облета или объезда
препятствий и областей с температурой, способной вывести из строя
бортовое оборудование. Для планирования и выбора траектории разработан
алгоритм управления, основанный на симплекс-методе и методе Кифера.
Выбраны показатели качества для МПП и осуществлена экспертная
оценка вариантов их эффективности по девяти показателям качества с
последующим построением циклограмм и определением интегральных
показателей качества рассматриваемых вариантов мобильных пожарных
платформ.
Разработан метод классификации сегментов на аэроснимках,
полученных при мониторинге пожарной опасности посредством БПЛА.
Метод основан на определении дескрипторов выделенных прямоугольных
сегментов заданных размеров посредством определения спектров Уолша в
трех типоразмерах окон, сформированных в этом сегменте. Спектральные
коэффициенты Уолша-Адамара, по которым осуществляется идентификация
интересующего нас класса, формируют входные векторы «слабых»
классификаторов (дескрипторы).
На рисунке 6 представлен интерфейс ПО для создания базы данных
(БД) обучающих и контрольных выборок. Исходный снимок разбивается на
сегменты квадратной формы с размерами, кратными двум. Затем ЛПР
устанавливает флажок индикатора класса (на рисунке 6 это класс «пламя») и
указателем «мыши» помечает тот сегмент, который относится к данному
классу. Помеченные сегменты отправляются в папку БД, в которой хранятся
сегменты данного класса.

Рисунок 6 – Интерфейс программного обеспечения для создания базы
данных обучающих выборок

В качестве примера на рисунке 7,б показано окно размером 32х32
пикселя, содержащее сегмент снимка класса «пламя» (на рисунке 7,а
границы этого сегмента на снимке показаны красной окружностью), и
соответствующий спектр Уолша-Адамара этого фрагмента представлен на
рисунке (в).
Для оценки качества работы предложенного метода были проведены
экспериментальные исследования, целью которых был анализ показателей
качества классификации классификаторов снимков с сегментами класса
«дым» и «пламя». При этом возгорание считалось обнаруженным, если хотя
бы один искомый сегмент класса «дым» или «пламя» найден на аэроснимке.
Обучающая выборка видеоизображений (кадров видеопоследовательностей)
включает в себя 2000 примеров (баз данных Bilkent). Количество сегментов
класса «пламя» в обучающей выборке для видеопоследовательностей с
пламенем составило 7000, класса «дым» – 5000, индифферентный класс –
6500. Общая продолжительность видеопоследовательностей составила около
20 минут.

а)б)в)
Рисунок 7 – Аэроснимок с сегментом класса «пламя»: дислокация
сегмента указана красной окружностью (а), соответствующее содержимое
сегмента класса «пламя» (б) и двумерный спектр Уолша этого сегмента (в)

Чувствительность классификатора «дым»/индифферентный класс
составила 0,86, а число ложноположительных результатов не превысило
13%. Чувствительность классификатора «пламя»/индифферентный класс
составила 0,895, а число ложноположительных результатов не превысило
4,5%. Таким образом, экспериментальные исследования подтверждают
эффективность предложенного метода обнаружения пламени и дыма на
сегментах аэроснимков, полученных при мониторинге автономных
территориальных единиц.

ЗАКЛЮЧЕНИЕ
В диссертационной работе решена научно-техническая задача
разработки методов, алгоритмов и моделей анализа снимков из видеопотока
с целью автоматического обнаружения признаков возгорания и
распознавания очагов пожара.
В результате выполнения диссертационного исследования получены
следующие основные результаты:
1. Проведен анализ методов и средств мониторинга и прогнозирования
пожарнойбезопасностиадминистративно-территориальныхединиц,
который показал, что повышение эффективности процесса мониторинга
требует автоматизации классификации видеоданных с беспилотных
летательных аппаратов.
2. Разработан метод синтеза математических моделей оценки
пожарной обстановки и состояния людей, находящихся в зоне пожара,
позволяющий синтезировать решающие правила по классификации типов и
характера пожаров, а также по прогнозированию и оценке состояния
здоровья в условиях исследуемого класса чрезвычайных ситуаций.
3. Разработана концептуальная модель системы мониторинга
пожарной и медико-экологической безопасности с использованием анализа
видеоданных с беспилотных летательных аппаратов, позволяющая
оперативно классифицировать и прогнозировать пожарную и медико-
экологическую обстановку на мониторируемой территории.
4. Разработан метод оптимизации функционирования модуля
воздушного наблюдения пожарной и медико-экологической безопасности,
включающий алгоритм планирования траектории мониторинга пожарной
обстановки, позволяющий определить необходимый ресурс беспилотного
летательного аппарата для мониторинга пожарной обстановки и
оптимизировать число беспилотных летательных аппаратов в зоне
мониторинга территориальной единицы.
5. Разработан метод сегментации видеоданных, поступающих с
беспилотного летательного аппарата при мониторинге пожарной
обстановки, позволяющий повысить оперативность анализа данных в
видеопотоке.
6. Разработан метод классификации сегментов на аэроснимках,
полученных при мониторинге АТЕ, позволяющий обучать классификаторы
на дифференциальную диагностику сегментов снимков видеоряда,
полученных с видеокамер БПЛА.
7. Проведены экспериментальные исследования эффективности
предложенных методов, алгоритмов и моделей в системе мониторинга
пожарнойимедико-экологическойбезопасностиАТЕна
видеопоследовательностях, содержащих пламя и дым, которые показали
среднее значение точности обнаружения дыма – 86 %, пламени – 89,5 %, при
этом ложноположительные срабатывания при обнаружении дыма в среднем
составили 13 %, а при обнаружении пламени – 4,5 %.
Рекомендации. Результаты исследования могут быть использованы для
построения автоматизированных систем мониторинга пожарной и медико-
экологической безопасности.
Перспективыдальнейшейразработкитемы.Улучшение
чувствительности коммерческих и экспериментальных автоматизированных
систем видеообнаружения пожара с одновременным снижением количества
ложных срабатываний посредством разработки мультимодальных
алгоритмов классификации, использующих инфракрасные и обычные
камеры.
СПИСОК НАУЧНЫХ РАБОТ,
ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ