Методы машинного обучения при обработке изображений сверхвысокого пространственного разрешения на примере задач классификации растительности

ВВЕДЕНИЕ …………………………………………………………………………………………………….. 5
1 АНАЛИЗ МОДЕЛЕЙ СНС ПРИ РЕШЕНИИ ЗАДАЧ КЛАССИФИКАЦИИ
ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ ………………………………………………………………. 12
1.1 Современные СНС при решении задач классификации объектов на
изображениях……………………………………………………………………………………………… 12
1.1.1 Слой свертки……………………………………………………………………………………. 15
1.1.2 Слой пулинга или субдискретизации ……………………………………………….. 19
1.1.3 Полносвязный слой………………………………………………………………………….. 21
1.2 Анализ моделей СНС в задачах обработки изображений ДЗЗ …………………. 22
1.2.1 Классификация растительности на изображениях высокого и
сверхвысокого пространственного разрешения с использованием методов
СНС…………………………………………………………………………………………………………. 22
1.2.2 Модель VGG ……………………………………………………………………………………. 30
1.2.3 Модель ResNet …………………………………………………………………………………. 32
1.2.4 Модель Inception ……………………………………………………………………………… 32
1.2.5 Модель InceptionResNet …………………………………………………………………… 33
1.2.6 Модель Xception ………………………………………………………………………………. 34
1.2.7 Модель DenseNet ……………………………………………………………………………… 35
1.2.8 Преимущества СНС …………………………………………………………………………. 35
1.2.9 Недостатки СНС………………………………………………………………………………. 36
1.3 Проблемы, выдвигаемые для решения с использованием СНС ………………. 37
1.4 Выводы …………………………………………………………………………………………………. 39
2 РАЗРАБОТКА АЛГОРИТМОВ И АРХИТЕКТУРЫ СНС ПРИ ОБРАБОТКЕ
ИЗОБРАЖЕНИЙ СВЕРХВЫСОКОГО ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ
……………………………………………………………………………………………………………………… 41
2.1 Алгоритм построения и искусственного увеличения набора данных
изображений ………………………………………………………………………………………………. 41
2.2 Разработка новой архитектуры СНС………………………………………………………. 43
2.3 Методика формирования контрольной выборки на изображениях
сверхвысокого пространственного разрешения …………………………………………… 46
2.4 Модификация алгоритма сегментации изображений сверхвысокого
пространственного разрешения …………………………………………………………………… 49
2.5 Метрики оценки эффективности ……………………………………………………………. 50
2.6 Выводы …………………………………………………………………………………………………. 52
3 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ РАЗРАБОТАННОЙ
АРХИТЕКТУРЫ СНС И АЛГОРИТМОВ ………………………………………………………. 54
3.1 Тестовый участок и формирование набора данных ………………………………… 54
3.1.1 Тестовый участок и материалы ДЗЗ …………………………………………………. 54
3.1.2 Подготовка обучающего набора данных и его искусственное увеличение
………………………………………………………………………………………………………………… 57
3.1.3 Подготовка тестового набора данных для независимой проверки …….. 60
3.2 Результаты обучения новой архитектуры СНС. ……………………………………… 62
Сравнение с современными архитектурами СНС ………………………………………… 62
3.3 Результаты тестирования новой архитектуры СНС ………………………………… 65
3.4 Выводы …………………………………………………………………………………………………. 69
4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ПРИМЕНЕНИЯ
МОДИФИЦИРОВАННОГО АЛГОРИТМА СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ
СВЕРХВЫСОКОГО ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ ……………………. 71
4.1 Тестовый участок и формирование набора данных ………………………………… 71
4.2 Результаты экспериментальных исследований применения
модифицированного алгоритма сегментации изображений на основе СНС
ResNet50 и ResNet101 …………………………………………………………………………………. 77
4.3 Выводы ………………………………………………………………………………………………… 81
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………….. 82
СПИСОК ИСПОЛЬЗОВАННЫХ СОКРАЩЕНИЙ…………………………………………. 84
СПИСОК ЛИТЕРАТУРЫ………………………………………………………………………………. 85
ПРИЛОЖЕНИЕ А …………………………………………………………………………………………. 99
ПРИЛОЖЕНИЕ Б ………………………………………………………………………………………… 102
ПРИЛОЖЕНИЕ В ……………………………………………………………………………………….. 104

Представленная диссертационная работа содержит описание и результаты
тестирования разработанных методов машинного обучения при обработке
изображений сверхвысокого пространственного разрешения в условиях малых
выборок по искусственно увеличенным данным на примере задач сегментации,
классификации и категоризации характера повреждения растительности.
Основные научные и практические результаты работы заключаются в следующем:

1. Проведен анализ современных алгоритмов СНС и их использования при
решении задач классификации объектов, представленных на мультиспектральных
и трехканальных изображениях сверхвысокого пространственного разрешения,
позволяющий определить основные направления исследования в области
разработки эффективных алгоритмов СНС для обработки данных ДЗЗ.
2. Разработан алгоритм построения и искусственного увеличения
размеченного набора данных на изображениях сверхвысокого пространственного
разрешения в условиях малых выборок.
3. Разработана новая архитектура СНС для задач точной классификации
размеченного набора данных на трехканальных цветных изображениях
сверхвысокого пространственного разрешения.
4. Разработана новая методика формирования контрольной выборки на
трехканальных цветных изображениях сверхвысокого пространственного
разрешения в условиях малых выборок для проведения тестирования
разработанной архитектуры СНС и ее сравнения с современными моделями СНС.
5. Проведено модифицирование алгоритма сегментации изображений
сверхвысокого пространственного разрешения в условиях малых выборок на
основе СНС ResNet50 и ResNet101 для построения маски регионов объектов.
6. Выполнены экспериментальные исследования по разработанным
архитектурам СНС и алгоритмам на тестовых участках: заповедник «Столбы»,
расположенный на северо-востоке от города Красноярск в Центральной Сибири
Российской Федерации по данным изображений, полученных с БПЛА за 2016, 2018
гг.; плантация оливковых деревьев Picular, расположенная на севере города
Гранады, Андалусия, Испания по данным изображений БПЛА за 2019 г.
7. Произведено вычисление основных параметров метрики оценки
разработанной архитектуры СНС с использованием различных наборов данных
изображений сверхвысокого пространственного разрешения. По проведенным
расчетам выявлено, что от использования искусственного увеличения тестового
набора данных для обучения СНС доля правильных ответов (accuracy), точность
(precision) и F-мера (F_score) улучшились на 14,5%, 20,4% и 34,3% соответственно.
СПИСОК ИСПОЛЬЗОВАННЫХ СОКРАЩЕНИЙ

ДЗЗ – дистанционное зондирование земли
ИНС – искусственные нейронные сети
СНС – сверточные нейронные сети
БПЛА – беспилотный летательный аппарат
RGB – red-green-blue (красный-зеленый-синий)
P. proximus – Polygraphus proximus Blandford
ReLU – rectified linear unit
ILSVCC – imagenet large scale visual classification challenge
VGG – visual geometry group
ResNet – residential network
MS COCO – microsoft common objects in context
ADAM – adaptive moment estimation
NIR – near infrared
TN – true negative
TP – true positive
FN – false negative
FP – false positive
GPU – graphics processing unit
NDVI – normalized difference vegetation index
GNDVI – green normalized difference vegetation index