Синтез структуры и алгоритмов функционирования кросс-доменной системы распознавания лиц для условий низкой освещенности

Во введении содержится обоснование актуальности темы диссертации, формулируются цели и задачи исследования, научная новизна, практическая ценность результатов, а также кратко изложено содержание разделов диссертации.
В первой главе содержатся общие сведения о биометрических системах. Описываются процессы формирования нового биометрического шаблона на основе данных, основные принципы построения систем распознавания лиц и процедура решения биометрической системой задачи «список наблюдения».
Рассматриваются различные проблемы, с которыми приходится сталкиваться в задаче распознавания лиц. Рассматриваются способы решения проблемы вариаций освещения и отсутствия освещения. Для решения проблемы низкого освещения проведен анализ источников, обеспечивающих спектральные системы визуализации. В качестве подсветки выбирается ближний
инфракрасный диапазон. Анализируются методы, обеспечивающие распознавание лиц с использованием изображений в ближнем ИК-диапазоне.
Гетерогенные системы распознавания лиц обеспечивают соответствие между различными системами визуализации, либо различными спектральными полосами, либо модальностями. Рассматриваются области применения гетерогенного распознавания лиц.
Проведен анализ методов и алгоритмов, используемых в задаче преобразования ближнего инфракрасного домена в визуальный домен. Проведен анализ методов шумоподавления с использованием нейронных сетей в качестве предварительной обработки. Представлена формализация задачи системы распознавания лиц в соответствии данной работы.
Вторая глава посвящена методами и алгоритмами решения задач гетерогенного распознавания лиц. Проведена разработка архитектуры системы распознавания лиц, обеспечивающая возможность использования в зашумленной и темной окружающей среде (см. Рисунок. 1). Приводится описание методов, используемых в построении предложенной гетерогенной системы распознавания лиц.
Рисунок 1.
Процедура функционирования гетерогенной системы распознавания лиц.
Разработана модель шумоподавления на основе автоэнкодера и её структура функционирования (Рисунок 2).
Рисунок 2.
Функционирование автоэнкодера по шумоподавлению изображения.
5

Математическая модель автоэнкодера имеет следующий вид:
: →
: → ′
, = argmin‖ −( ∘ ) ′‖2
,
где , − функции энкодера и декодера. , ′, − входное изображение, реконструированное изображение и латентный вектор, соответственно. сопоставляет входное изображение с латентным вектором . сопоставляет латентный вектор с выходное изображение ′.
Сеть энкодера может быть представлена стандартной функцией нейронной сети через функцию активации:
= ( + )
Аналогично, сеть декодера может быть представлена в той же форме, но с другим весом, смещением и используемой функцией активации.
′ = ′( ′ + ′)
где, ′, ′, ′ параметры сети декодера могут быть не связаны, а , , – параметры сети энкодера.
Разработана кросс-доменная модель на основе существующей модели ЦГСС для решения задачи преобразования модальности изображения. Результаты преобразования модальности изображения, генерируемые существующей моделью ЦГСС, являются не высокими по качеству формирования изображения, что может привести к плохой производительности системы идентификации лиц (см. Рисунок 3).
Рисунок 3.
Пример результата преобразования модальности изображения с помощью существующей модели ЦГСС.
На Рисунке 4 представлена разработанная кросс-доменная модель с использованием существующей модели ЦГСС. Модифицированная часть предлагаемой модели представлена в красном пунктирном прямоугольнике.
Рисунок 4.
Предложенная кросс-доменная модель для преобразования модальности изображения.
Существующая модель ЦГСС состоит из двух генераторов ( , ) и двух дискриминаторов ( , ). Каждый генератор имеет соответствующую модель дискриминатора. Функция генератора состоит в создании синтезированных изображений, а функция дискриминатора состоит в определении различий между реальными изображениями и синтезированными изображениями.
Генератор производит синтезированные изображения и дискриминатор пытается различить эти синтезированные изображения и реальные изображения из домена ; дискриминатор различает реальные изображения из домена и синтезированные изображения, произведенные генератором .
Для генератора : → существующей модели ЦГСС и связанного дискриминатор , состязательная потеря формулируется следующим образом:
2 ( , , , ) = ~ ( ) [( ( ( )) − 1) ]
где

22 ( , , , ) = ~ ( ) [( ( ) − 1) ] + ~ ( ) [ ( ( )) ]
, − исходные данные из доменов и , ∈ , ∈ .
( , , , ), ( , , , )− состязательные потери генератора и дискриминатора для прямого цикла модели ЦГСС. , − матожидание для реальных данных и синтезированных данных. ( ) и ( ) обозначают
выборочные распределения в доменах и , соответственно. Для генератора
: → и связанного с ним дискриминатора , состязательная представлена следующим образом:
2 ( , , , )= ~ ( ) [( ( ( ))−1) ]
потеря

2 ( , , , )= ~ ( )[( ( )−1) ]+ ~ ( ) [ ( ( )) ]
2
где ( , , , ), ( , , , )−состязательные потери генератора и дискриминатора для обратного цикла модели ЦГСС.
Таким образом, общая потеря состязательности может быть записана следующим образом:
,
= ( , , , )+ ( , , , )

= ( , , , )+ ( , , , )
, = +
,
где − общая состязательная потеря для генератора и генератора . −
общая состязательная потеря для дискриминатора и дискриминатора . − общая состязательная потеря для всех состязательных потерь генераторов и дискриминаторов.
Для восстановления исходного изображения после цикла преобразования, в качестве второго набора функций потерь, потери цикл-консистенции представляется следующим образом:
= ~ ( ) [‖ ( ( )) − ‖1] + ~ ( ) [‖ ( ( )) − ‖1] где − потеря цикла-консистенции.
Полная потеря существующей модели ЦГСС может быть представлена следующим образом:
= 1 + 2
где − полная функция потеря. 1, 2 − весовые значения. Результаты преобразования модальности изображения не удовлетворяются при использовании существующей модели ЦГСС, как показано на Рисунке 3. Разработана модификация существующей модели ЦГСС добавлением новых функций потери, называемых потерей идентичности и потерей края. Функция потери идентичности и потери удержания края представлены следующим образом:
= ~ ( )[‖ ( ) − ‖1] + ~ ( )[‖ ( ) − ‖1]
= ~ ( ) [‖ ( ( )) − ( )‖1] + ~ ( ) [‖ ( ( )) − ( )‖1]

где , − потеря идентичности и потеря удержания края. − Сеть для извлечения границ изображения с целью вычисления предполагаемой потери удержания границ.
Функция потери идентичности и потери удержания края оптимизируют существующую модель ЦГСС во время обучения. Новая модифицированная полная функция потерь представлена следующим образом:
= 1 + 2 + 3 + 4
где 3, 4 − весовые значения.
Рассмотрены известные методы обнаружения лиц, метод детектирования
признаков и метод классификации признаков как предварительно обученных моделей.
В третьей главе приведена реализация разработанного комбинированного метода для решения задачи распознавания личности в зашумленной и темной окружающей среде. Проведен выбор средств для разработки аппаратного и программного обеспечения.
Реализована модель шумоподавления на основе метода автоэнкодера (Рисунок 5).
xZx
Входноеизображение (128 х 128 х 3)
Входной слой (128 х 128 х 3)
Латентное пространство
Выходное изображение (128 х 128 х 3)
Conv2D (128 х 128 х 64)(128 х 128 х 3)
Conv2D x 2 (128 х 128 х 64)
Upsampli ng2d
Maxpooli ng2d (64 х 64 х 64)
Conv2D x 2 (64 х 64 х 32)
Maxpooli ng2d (32 х 32 х 32)
Conv2D x 2 (32 х 32 х 32)
Upsampli ng2d (64 х 64 х 32)
Conv2D x 2 (64 х 64 х 64)
Рисунок 5.
Архитектура модели шумоподавления на основе метода модифицированного автоэнкодера.
В разработанной модели настройки были изменены путем дублирования сверточных слоев в энкодере и декодере.
Приведен сравнительный анализ разработанной модели шумоподавления с другими методами шумоподавления за счет пикового отношения сигнал / шум (PSNR). Чтобы вычислить PSNR, используется следующее уравнение:
PSNR=10log  R2  10MSE
где R – максимально возможное значение яркости пикселя изображения. MSE представляет собой среднеквадратичную ошибку между сжатым и исходным изображением:
 
 = 0.10  = 0.15  = 0.20
19.99 29.80 16.45 26.62 14.03 24.50
29.73 26.69 27.89 23.73 26.84 21.67
31.91 29.88 27.35
MN Результаты сравнения представлены в Таблице 1.
I (m,n)−I (m,n)2 12
MSE = M ,N 
где M и N — это количество строк и столбцов во входных изображениях.

Таблица 1. Сравнительные результаты различных методов шумоподавления за счет
пикового отношения сигнал / шум.
значение параметра помехи
С шумом
Медианный метод
Байесшринк
Висушринк
Модифициров- анный автоэнкодер
Результаты шумоподавления на случайно выбранном тестовом изображении из ORL базы данных представлены на Рисунке 6.
Рисунок 6.
Сравнение результатов на зашумленном изображении с использованием различных методов шумоподавления.
Проведена реализация модели преобразования модальности изображения в виде программного обеспечения. Предложенная модифицированная кросс- доменная модель построена с пропускными соединениями для генераторов, U- Net для два детектора границ и обычные свёрточные сети для дискриминаторов. Построены модели с использованием Keras API, а оптимизатор Adam был использован для изменения атрибутов нейронной сети, таких как вес и скорость обучения, чтобы уменьшить потери.
Для построения предложенной кросс-доменной модели необходимо реализовать два генератора, два дискриминатора и два детектора границ. Сетевые архитектуры генератора, дискриминатора и детектор границ представлены на Рисунке 7, Рисунке 8 и Рисунке 9., соответственно. График потери во время обучения генераторов и дискриминаторов на основе базовой модели ЦГСС и модифицированной модели ЦГСС показаны на Рисунке 10.
Рисунок 7.
Сетевая архитектура генератора.
Рисунок 8.
Сетевая архитектура дискриминатора.
Рисунок 9.
Сетевая архитектура краевого детектора.
Рисунок 10.
График потери при обучении базовой модели ЦГСС и предложенной кросс- доменной модели (а) потери генераторов (б) потери дискриминаторов.
Разработанная кросс-доменная модель была обучена на базе данных CASIA NIR-VIS 2.0 после построения сетей генераторов и дискриминаторов, результаты представлены на Рисунке 11.
Рисунок 11.
Результаты преобразования домена изображения с использованием предложенной кросс-доменной модели.
Осуществлена реализация методов обнаружения лиц, детектирования признаков и классификации признаков в виде программного обеспечения. Произведен сравнительный анализ трех известных методов обнаружения лиц и представлен обзор преимуществ и недостатков этих методов.
Использована модель “FaceNet” в качестве предварительно обученной модели детектирования признаков. Для классификации личностей использован метод опорных векторов.
В четвертой главе приводятся результаты экспериментальных исследований описанных методов. В начале главы проведено планирование эксперимента. Задача идентификации решается для трех различных условий: статические изображения без шумов, статические изображения с шумами и идентификация лиц на видеопоследовательности в режиме реального времени.
Тестирование алгоритма предложенного комбинированного метода проводилось на следующих наборах данных:
– База данных CASIA NIR-VIS 2.0 включает в себя в общей сложности 725 различных людей. На одного человека приходится 1-22 изображения лица в видимом спектре и 5-50 изображений лица в ближнем инфракрасном спектре. База данных использована для тестирования статистических изображений.
– Собственная база данных содержит набор изображений лица 10 разных людей. В базе содержится набор видимого спектра и набор инфракрасного спектра (по 10 изображений на одного человека). База данных использована с целью тестирования видеопоследовательности в режиме реального времени.
Для оценки эффективности системы идентификации лиц с использованием предложенного комбинированного метода применяются следующие критерии:
– критерий полноты системы (Recall), показывающий отношение количества верных идентификаций лиц к общему числу лиц на изображениях.
= +
где , − истинно-положительное решение и ложноотрицательное решение, соответственно.
– критерий точности системы (Precision), показывающий долю верных идентификаций лиц среди всех результатов идентификации.
= +
где − ложноположительное решение.
– кривая точности и полноты (precision and recall curve – PRC),
используемая для оценки качества классификатора, что является полезным показателем успешности прогнозирования, когда классы изображений несбалансированные.
– общая точность, определяющаяся как доля количества правильной классификации во всем числе образцов.
Результаты эксперимента идентификации лиц на статических изображениях при отсутствии и наличии шумов представлены на Рисунке 12, сравнение с другими альтернативными методами гетерогенного распознавания лиц представлено в Таблице 2.
13

Рисунок 12.
Различные точности идентификации в виде кривой PRC при отсутствии и наличии шумов.
Таблица 2. Сравнение точности (%) на базе данных CASIA NIR-VIS 2.0 и сравнение
времени обработки на видеопоследовательности.
Метод
Точность
Время обработки (кадров в секунду)
DSIFT
CDFL Gabor+RBM LCFS H2(LBP3) CEFD HFR-CNN TRIVET
IDNet IDR-128
ADFL
VGG SeetaFace CenterLoss Light CNN Предложеный метод
В
видеопоследовательность в режиме реального времени. В этом эксперименте рассматривались вопросы использования разработанной кросс-доменной модели и отказа от использования этой модели в темной среде. Результаты приведены на Рисунке 13.
73.3 ±1.10 71.5±1.40 86.2±0.98 35.4±2.80 43.8
85.6 85.9±0.90 95.7±0.52 87.1±0.88 97.3±0.43 98.2±0.34 62.1±1.88 68.0±1.66 87.7±1.45 96.7±0.23 98.7±0.39
–
–
–
–
–
–
≈ 1.18 ≈ 1.43 ≈ 1.67 ≈ 1.53 ≈ 2.23 ≈ 1.25 ≈ 1.82 ≈ 2.01 ≈ 3.34 ≈ 4.02
14
конце главы для
идентификации
людей
используется

Рисунок 13.
Результаты тестирования на видеопоследовательности при отказе от использования разработанной кросс-доменной модели и при использовании её в предложенном комбинированном методе.
По результатам идентификации лиц на видеопоследовательности в режиме реального времени, можно заметить, что предложенный комбинированный метод без разработанной кросс-доменной модели дал низкую производительность идентификации лиц, а при использовании разработанной кросс-доменной модели в предлагаемом комбинированном методе можно получить надежную производительность для идентификации лиц.
ЗАКЛЮЧЕНИЕ
В диссертационной работе решена актуальная научно-техническая задача исследования и разработки алгоритмов идентификации лиц на статических изображениях и на видеопоследовательностях в условиях слабого освещения или абсолютно тёмной окружающей среды.
Представленная диссертационная работа в соответствии своими с целями и задачами содержит следующие результаты:
1. Разработаны алгоритмы распознавания личности в условиях слабого освещения, или полного отсутствии освещения с применением методов шумоподавления, обнаружения лиц, преобразования домена изображения, детектирования и классификации признаков.
2. Разработана модель шумоподавления на основе сети автоэнкодера, обеспечивающая уменьшение шума в изображениях, позволяющая распознавать личность в зашумленных сценариях.
3. Разработана модифицированная кросс-доменная модель на основе существующей модели ЦГСС, позволяющие генерировать видимые изображения лучшего качества из изображений в ближнем ИК диапазоне.
4. Разработаны структура и алгоритмы функционирования системы на основе совокупности разработанных моделей и предварительно
обученных моделей, позволяющие идентифицировать личность в условиях
слабого освещения.
5. Разработано и внедрено в автоматизированные системы программное
обеспечение для распознавания лиц в условиях слабого освещения или отсутствия освещения для статических изображений и видеопоследовательностей.