Модели, алгоритмы и программное обеспечение для семантической сегментации хвойных деревьев на снимках с беспилотных летательных аппаратов
В работе решается задача семантической сегментации пораженных вредителями леса деревьев пихты и кедра на цифровых изображениях, полученных с БПЛА. Для этого используется ряд моделей машинного обучения: ансамблевая модель, обученная градиентным бустингом и использующая текстурные признаки Харалика, полносверточные сети U-Net, SegNet и ENet. Также в работе предлагаются две новые архитектуры, основанные на U-Net: MH-U-Net и MH-Res-U-Net. Приводится сравнение полученных моделей по точности сегментации, времени вычислений и их чувствительности к выбору гиперпараметров.
Введение ……………………………………………………………………………………………………… 14
1 Мониторинг состояния хвойных деревьев …………………………………………………. 16
1.1 Задача анализа состояния пихты сибирской по снимкам с БПЛА ………… 16
1.2 Задача анализа состояния сосны сибирской кедровой по снимкам
с БПЛА ……………………………………………………………………………………………………….. 17
1.3 Методы анализа изображений дистанционного мониторинга ………………. 18
1.4 Постановка задач исследования ………………………………………………………….. 19
2 Разведочный анализ данных ……………………………………………………………………… 23
2.1 Разведочный анализ изображений пихтовых насаждений ……………………. 23
2.2 Разведочный анализ изображений кедровых насаждений ……………………. 25
3 Реализованные модели и алгоритмы ………………………………………………………….. 28
3.1 Текстурные признаки Харалика ………………………………………………………….. 28
3.2 Градиентный бустинг …………………………………………………………………………. 29
3.3 Полносверточные сети ……………………………………………………………………….. 30
3.3.1 Архитектура U-Net ……………………………………………………………………….. 30
3.3.2 Архитектура SegNet ……………………………………………………………………… 32
3.3.3 Архитектура ENet ………………………………………………………………………… 32
3.3.4 Архитектура MH-U-Net ………………………………………………………………… 35
3.3.5 Архитектура MH-Res-U-Net …………………………………………………………. 36
3.4 Оценка качества сегментации ……………………………………………………………… 37
3.5 Обучение нейронных сетей…………………………………………………………………. 38
3.6 Подбор гиперпараметров ……………………………………………………………………. 40
4 Результаты исследования предлагаемых моделей………………………………………. 43
4.1 Результаты сегментации тестовых участков ………………………………………… 43
4.2 Сравнение производительности полносверточных сетей …………………….. 46
4.3 Исследование чувствительности полносверточных сетей к выбору
гиперпараметров………………………………………………………………………………………….. 47
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение……. 50
6 Социальная ответственность …………………………………………………………………….. 63
Заключение …………………………………………………………………………………………………. 76
Список публикаций ……………………………………………………………………………………… 77
Список источников ……………………………………………………………………………………… 80
Приложение А Models and Algorithms ………………………………………………………….. 86
Приложение Б Дипломы, полученные на конференциях и конкурсах …………. 101
Приложение В Акт об использовании результатов магистерской
диссертации ………………………………………………………………………………………………. 110
Обширные очаги усыхания хвойных лесов, вызванные чужеродными
насекомыми-вредителями, влекут за собой значимые экономические и
экологические последствия [1, 2].
Так одним из основных негативных факторов, воздействующих на
пихтовые леса ряда регионов Южной Сибири [1], Байкальского региона [3] и
Предуралья [4], является инвазивный короед – уссурийский полиграф
Polygraphus proximus Blandf. При заселении здоровых деревьев вредитель
вносит под кору деревьев пропагулы фитопатогенных офиостомовых грибов,
которые вызывают некрозы луба и более глубоких тканей ствола [5, 6]. В
результате нарушения работы ассимиляционно-диссимиляционного аппарата
происходит постепенная гибель дерева с характерной дехромацией хвои.
Другим негативным фактором является насекомое-вредитель союзный
(многоходовый) короед Ips amitinus (Eichhoff), заселяющий деревья сосны
сибирской кедровой, что приводит к массовому усыханию древостоя. В России
вредитель встречается в западных, северо-западных и северных районах
европейской части страны. В Западной Сибири вредитель обнаружен недавно в
припоселковых кедровниках Томской и Кемеровской областей. Ареал союзного
короеда имеет тенденцию к расширению [2].
Наличие таких факторов требует проведения непрерывного и
оперативного мониторинга пихтовых насаждений с целью оценки их состояния,
планирования санитарных и лесозащитных мероприятий.
Данные дистанционного зондирования Земли, полученные с
использованием беспилотных летательных аппаратов (БПЛА), сегодня активно
применяются при решении задач экологического мониторинга лесных
насаждений, обеспечивая при этом высокое пространственное разрешение
получаемых снимков и оперативность в принятии решений [7-9].
Данная работа посвящена разработке ряда моделей машинного обучения
и их исследованию при решении задачи семантической сегментации деревьев
пихты и кедра, поврежденных вредителями леса, на снимках с БПЛА.
В разделе 1 описаны задача анализа состояния деревьев пихты и кедра
по снимкам с БПЛА и используемые в данной работа исходные данные,
приведен краткий обзор используемых в литературе методов и поставлена
задача исследования.
В разделе 2 приведен разведочный анализ исходных данных.
В разделе 3 дано описание моделей и алгоритмов машинного обучения:
алгоритма градиентного бустинга, моделей полносверточных сетей U-Net,
SegNet и ENet, а также новых архитектур MH-U-Net и MH-Res-U-Net;
приведено описание алгоритмов их обучения, оценки качества и подбора
гиперпараметров.
В разделе 4 представлены полученные результаты с использованием
предлагаемых моделей: проведена оценка качества сегментации, сравнение
моделей по качеству сегментации, времени вычислений и чувствительности к
выбору гиперпараметров.
В разделе 5 изложены вопросы, связанные с финансовым менеджментом
и ресурсоэффективностью разработки.
В разделе 6 рассмотрены экологическая безопасность и техника
безопасности работников на рабочем месте.
Практическая ценность разработанных моделей и алгоритмов состоит в
возможности их использования для проведения оперативного мониторинга
поврежденных вредителями хвойных насаждений, что важно для лесной
отрасли РФ. Научную новизну имеют предложенные модели MH-U-Net и
MH-Res-U-Net.
Результаты работы опубликованы в ряде сборников (одна статья – в
периодике, индексируемой базой данных Scopus), доложены на восьми
конференциях международного и всероссийского уровня и отмечены
дипломами (приложение Б). Практическая значимость работы подтверждается
актом об использовании результатов магистерской диссертации в лаборатории
мониторинга лесных экосистем Института мониторинга климатических и
экологических систем СО РАН (приложение В).
1 Мониторинг состояния хвойных деревьев
Наземные лесопатологические обследования хвойных лесов позволяют
провести прямую оценку состояния деревьев и численности популяции
вредителей, однако существенно ограничены по площади исследуемых
территорий и маловозможны для насаждений, труднодоступных для наземного
транспорта. Осуществление лесопатологических обследований дистанционным
и комбинированным методами с использованием космических аппаратов и
БПЛА с соответствующей съемочной аппаратурой значительно расширяет
возможности мониторинга хвойных лесов. Важно как можно раньше выявить
наличие деревьев на начальных стадиях повреждения вредителями, чтобы
спланировать и провести фитосанитарные мероприятия. При этом
использование именно БПЛА может обеспечить большую оперативность
наблюдений, так как они менее зависят от наличия облачности и более
мобильны, и возможность фотографирования крон деревьев в высоком
пространственном разрешении для их более детального анализа.
В данной работе была рассмотрена задача анализа полученных с БПЛА
снимков хвойных лесов, поврежденных насекомыми-вредителями. Для
решения этой задачи реализован ряд моделей машинного обучения.
Разработанные модели позволяют осуществлять попиксельную классификацию
пораженных деревьев пихты и кедра в зависимости от степени их повреждения
вредителями. Модели показали достаточно высокую эффективность при
классификации пикселей классов «Фон», «Живые», «Свежий сухостой»,
«Старый сухостой» и низкую – для класса «Отмирающие» в задаче
сегментации пихтовых деревьев, поврежденных уссурийским полиграфом. В
задаче сегментации кедровых деревьев, поврежденных союзным короедом,
модели U-Net и MH-Res-U-Net успешно сегментируют все классы, кроме класса
«Свежезаселенное», а модель MH-U-Net – все классы, кроме класса «Свежий
сухостой», ожидается, что продолжающийся процесс подбора гиперпараметров
позволит добиться более высокого результата.
Предложенные в работе архитектуры полносверточных сетей MH-U-Net
и MH-Res-U-Net продемонстрировали меньшую чувствительность к выбору
гиперпараметров, чем модели U-Net, SegNet и ENet, однако вопросы о
причинах такого поведения и деталях зависимости от значений конкретных
гиперпараметров требуют сбора большего количества данных и их
дальнейшего изучения.
Эффективность предложенных моделей может быть улучшена путем их
обучения на большем количестве снимков разных участков хвойных лесов.
Также она может быть повышена при использовании дополнительных данных,
например, снимков в ближнем инфракрасном диапазоне спектра, карт глубины
и т. п. Также перспективным может быть использование ансамблей полученных
моделей. Возможно, имеет смысл рассматривать задачу нечеткой
классификации крон деревьев, так как процесс ухудшения состояния деревьев
является непрерывным и часто сложно отнести дерево однозначно к какой-либо
из категорий, однако это является объектом дальнейших исследований.
СПИСОК ПУБЛИКАЦИЙ
Публикации по тематике магистерской диссертации:
1. Керчев И. А., Маслов К. А., Марков Н. Г., Токарева О. С. Семантическая
сегментация поврежденных деревьев пихты на снимках с беспилотных
летательных аппаратов // Современные проблемы дистанционного
зондирования Земли из космоса. 2021. Т. 18. №. 1. С. 116–126. (Scopus, WoS)
2. Маслов К. А. Байесовский подход к подбору гиперпараметров нейронных
сетей на примере задачи семантической сегментации // Научная сессия ТУСУР
– 2021. Материалы международной научно-технической конференции
студентов, аспирантов и молодых ученых. Томск, 19-21 мая 2021. Томск: В-
Спектр. 2021. В печати.
3. Маслов К. А. Автоматизированные методы выявления поврежденных
деревьев на снимках с беспилотных летательных аппаратов // Труды XXV
Международного научного симпозиума студентов и молодых ученых имени
академика М. А. Усова «Проблемы геологии и освоения недр». Томск, 5-9
апреля 2021. Томск: ТПУ. 2021. В печати.
4. Маслов К. А. Применение методов машинного и глубокого обучения в
задачах семантической сегментации изображений лесного покрова // Сборник
трудов XVIII Международной научно-практической конференции студентов,
аспирантов и молодых ученых «Молодежь и современные информационные
технологии. Томск, 22-26 марта 2021. Томск: ТПУ. 2021. В печати.
5. Маслов К. А., Токарева О. С., Керчев И. А., Марков Н. Г. Методы
машинного обучения в задачах семантической сегментации снимков с
беспилотных летательных аппаратов // Материалы 18-й Всероссийской
открытой конференции «Современные проблемы дистанционного
зондирования Земли из космоса». Электронный сборник материалов
конференции. Москва, 16-20 ноября 2020. Москва: Институт космических
исследований РАН. 2020. С. 31.
6. Марков Н. Г., Маслов К. А., Керчев И. А., Токарева О. С. Сверточная
нейронная сеть для сегментации пораженных деревьев пихты на снимках с
беспилотных летательных аппаратов // Региональные проблемы
дистанционного зондирования Земли – 2020. Материалы VII Международной
научной конференции. Красноярск, 29 сентября-2 октября 2020. Красноярск:
СФУ. 2020. C. 102–105.
7. Маслов К. А. Сегментация крон поврежденных деревьев на цифровых
снимках с БПЛА с использованием нейросетевых моделей // Научная сессия
ТУСУР – 2020. Материалы XXV Международной научно-технической
конференции студентов, аспирантов и молодых учёных: в 3 частях. Томск, 25-
27 мая 2020. Часть 2. Томск: В-Спектр. 2020. C. 135–138.
8. Маслов К. А. Классификация поврежденной уссурийским полиграфом пихты
на снимках с БПЛА методами компьютерного зрения // Труды XXIV
Международного научного симпозиума студентов и молодых ученых имени
академика М. А. Усова «Проблемы геологии и освоения недр». Томск, 6-10
апреля 2020. Том 1. Томск: ТПУ. 2020. С. 526–527.
9. Маслов К. А. Классификация пихты, поврежденной уссурийским
полиграфом, по снимкам с БПЛА с использованием нейронной сети U-Net //
Сборник трудов XVII Международной научно-практической конференции
студентов, аспирантов и молодых ученых «Молодежь и современные
информационные технологии». Томск, 17-20 февраля 2020. Томск: ТПУ. 2020.
С. 109–110.
10. Маслов К. А. Детерминированный алгоритм классификации пихты,
поврежденной уссурийским полиграфом, по снимкам с БПЛА // Сборник
трудов XVII Международной научно-практической конференции студентов,
аспирантов и молодых ученых «Молодежь и современные информационные
технологии». Томск, 17-20 февраля 2020. Томск: ТПУ. 2020. С. 107–108.
Другие публикации:
11. Maslov K. A. and Tokareva O. S. System for Automated Environmental
Monitoring using Remote Sensing Data of the Earth from Open Data Sources //
Proceedings of the 14th International Forum on Strategic Technology (IFOST 2019).
October 2019. IOP Publishing. DOI:10.1088/1757-899X/1019/1/01210. (Scopus)
12. Маслов К. А., Токарева О. С. Мониторинг изменений состояния хвойных
лесов, поврежденных насекомыми-вредителями, с использованием
космических снимков // Тринадцатое Сибирское совещание и школа молодых
ученых по климато-экологическому мониторингу. Тезисы докладов российской
конференции. Томск, 15-19 октября 2019 / Под редакцией М. В. Кабанова.
Томск: Аграф-Пресс. 2019. С. 210–211.
13. Маслов К. А., Токарева О. С. Система автоматизированного
экологического мониторинга с использованием данных дистанционного
зондирования Земли // Материалы 17-й Всероссийской открытой конференции
«Современные проблемы дистанционного зондирования Земли из космоса».
Электронный сборник материалов конференции. Москва, 11-15 ноября 2019.
Москва: Институт космических исследований РАН. 2019. С. 107.
14. Маслов К. А. Система автоматизированного мониторинга изменений
земной поверхности с использованием данных космической съемки // Труды
XXIV Международного научного симпозиума студентов и молодых ученых
имени академика М. А. Усова «Проблемы геологии и освоения недр». Томск, 6-
10 апреля 2020. Том 1. Томск: ТПУ. 2020. С. 524–525.
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
4.9 (20 отзывов)
4.7 (46 отзывов)
4.9 (826 отзывов)
5 (18 отзывов)
5 (1241 отзыв)
5 (91 отзыв)
4.5 (9 отзывов)
4.8 (1033 отзыва)
4.9 (298 отзывов)
