Модели, алгоритмы и программное обеспечение для семантической сегментации хвойных деревьев на снимках с беспилотных летательных аппаратов
В работе решается задача семантической сегментации пораженных вредителями леса деревьев пихты и кедра на цифровых изображениях, полученных с БПЛА. Для этого используется ряд моделей машинного обучения: ансамблевая модель, обученная градиентным бустингом и использующая текстурные признаки Харалика, полносверточные сети U-Net, SegNet и ENet. Также в работе предлагаются две новые архитектуры, основанные на U-Net: MH-U-Net и MH-Res-U-Net. Приводится сравнение полученных моделей по точности сегментации, времени вычислений и их чувствительности к выбору гиперпараметров.
Введение ……………………………………………………………………………………………………… 14
1 Мониторинг состояния хвойных деревьев …………………………………………………. 16
1.1 Задача анализа состояния пихты сибирской по снимкам с БПЛА ………… 16
1.2 Задача анализа состояния сосны сибирской кедровой по снимкам
с БПЛА ……………………………………………………………………………………………………….. 17
1.3 Методы анализа изображений дистанционного мониторинга ………………. 18
1.4 Постановка задач исследования ………………………………………………………….. 19
2 Разведочный анализ данных ……………………………………………………………………… 23
2.1 Разведочный анализ изображений пихтовых насаждений ……………………. 23
2.2 Разведочный анализ изображений кедровых насаждений ……………………. 25
3 Реализованные модели и алгоритмы ………………………………………………………….. 28
3.1 Текстурные признаки Харалика ………………………………………………………….. 28
3.2 Градиентный бустинг …………………………………………………………………………. 29
3.3 Полносверточные сети ……………………………………………………………………….. 30
3.3.1 Архитектура U-Net ……………………………………………………………………….. 30
3.3.2 Архитектура SegNet ……………………………………………………………………… 32
3.3.3 Архитектура ENet ………………………………………………………………………… 32
3.3.4 Архитектура MH-U-Net ………………………………………………………………… 35
3.3.5 Архитектура MH-Res-U-Net …………………………………………………………. 36
3.4 Оценка качества сегментации ……………………………………………………………… 37
3.5 Обучение нейронных сетей…………………………………………………………………. 38
3.6 Подбор гиперпараметров ……………………………………………………………………. 40
4 Результаты исследования предлагаемых моделей………………………………………. 43
4.1 Результаты сегментации тестовых участков ………………………………………… 43
4.2 Сравнение производительности полносверточных сетей …………………….. 46
4.3 Исследование чувствительности полносверточных сетей к выбору
гиперпараметров………………………………………………………………………………………….. 47
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение……. 50
6 Социальная ответственность …………………………………………………………………….. 63
Заключение …………………………………………………………………………………………………. 76
Список публикаций ……………………………………………………………………………………… 77
Список источников ……………………………………………………………………………………… 80
Приложение А Models and Algorithms ………………………………………………………….. 86
Приложение Б Дипломы, полученные на конференциях и конкурсах …………. 101
Приложение В Акт об использовании результатов магистерской
диссертации ………………………………………………………………………………………………. 110
Обширные очаги усыхания хвойных лесов, вызванные чужеродными
насекомыми-вредителями, влекут за собой значимые экономические и
экологические последствия [1, 2].
Так одним из основных негативных факторов, воздействующих на
пихтовые леса ряда регионов Южной Сибири [1], Байкальского региона [3] и
Предуралья [4], является инвазивный короед – уссурийский полиграф
Polygraphus proximus Blandf. При заселении здоровых деревьев вредитель
вносит под кору деревьев пропагулы фитопатогенных офиостомовых грибов,
которые вызывают некрозы луба и более глубоких тканей ствола [5, 6]. В
результате нарушения работы ассимиляционно-диссимиляционного аппарата
происходит постепенная гибель дерева с характерной дехромацией хвои.
Другим негативным фактором является насекомое-вредитель союзный
(многоходовый) короед Ips amitinus (Eichhoff), заселяющий деревья сосны
сибирской кедровой, что приводит к массовому усыханию древостоя. В России
вредитель встречается в западных, северо-западных и северных районах
европейской части страны. В Западной Сибири вредитель обнаружен недавно в
припоселковых кедровниках Томской и Кемеровской областей. Ареал союзного
короеда имеет тенденцию к расширению [2].
Наличие таких факторов требует проведения непрерывного и
оперативного мониторинга пихтовых насаждений с целью оценки их состояния,
планирования санитарных и лесозащитных мероприятий.
Данные дистанционного зондирования Земли, полученные с
использованием беспилотных летательных аппаратов (БПЛА), сегодня активно
применяются при решении задач экологического мониторинга лесных
насаждений, обеспечивая при этом высокое пространственное разрешение
получаемых снимков и оперативность в принятии решений [7-9].
Данная работа посвящена разработке ряда моделей машинного обучения
и их исследованию при решении задачи семантической сегментации деревьев
пихты и кедра, поврежденных вредителями леса, на снимках с БПЛА.
В разделе 1 описаны задача анализа состояния деревьев пихты и кедра
по снимкам с БПЛА и используемые в данной работа исходные данные,
приведен краткий обзор используемых в литературе методов и поставлена
задача исследования.
В разделе 2 приведен разведочный анализ исходных данных.
В разделе 3 дано описание моделей и алгоритмов машинного обучения:
алгоритма градиентного бустинга, моделей полносверточных сетей U-Net,
SegNet и ENet, а также новых архитектур MH-U-Net и MH-Res-U-Net;
приведено описание алгоритмов их обучения, оценки качества и подбора
гиперпараметров.
В разделе 4 представлены полученные результаты с использованием
предлагаемых моделей: проведена оценка качества сегментации, сравнение
моделей по качеству сегментации, времени вычислений и чувствительности к
выбору гиперпараметров.
В разделе 5 изложены вопросы, связанные с финансовым менеджментом
и ресурсоэффективностью разработки.
В разделе 6 рассмотрены экологическая безопасность и техника
безопасности работников на рабочем месте.
Практическая ценность разработанных моделей и алгоритмов состоит в
возможности их использования для проведения оперативного мониторинга
поврежденных вредителями хвойных насаждений, что важно для лесной
отрасли РФ. Научную новизну имеют предложенные модели MH-U-Net и
MH-Res-U-Net.
Результаты работы опубликованы в ряде сборников (одна статья – в
периодике, индексируемой базой данных Scopus), доложены на восьми
конференциях международного и всероссийского уровня и отмечены
дипломами (приложение Б). Практическая значимость работы подтверждается
актом об использовании результатов магистерской диссертации в лаборатории
мониторинга лесных экосистем Института мониторинга климатических и
экологических систем СО РАН (приложение В).
1 Мониторинг состояния хвойных деревьев
Наземные лесопатологические обследования хвойных лесов позволяют
провести прямую оценку состояния деревьев и численности популяции
вредителей, однако существенно ограничены по площади исследуемых
территорий и маловозможны для насаждений, труднодоступных для наземного
транспорта. Осуществление лесопатологических обследований дистанционным
и комбинированным методами с использованием космических аппаратов и
БПЛА с соответствующей съемочной аппаратурой значительно расширяет
возможности мониторинга хвойных лесов. Важно как можно раньше выявить
наличие деревьев на начальных стадиях повреждения вредителями, чтобы
спланировать и провести фитосанитарные мероприятия. При этом
использование именно БПЛА может обеспечить большую оперативность
наблюдений, так как они менее зависят от наличия облачности и более
мобильны, и возможность фотографирования крон деревьев в высоком
пространственном разрешении для их более детального анализа.
В данной работе была рассмотрена задача анализа полученных с БПЛА
снимков хвойных лесов, поврежденных насекомыми-вредителями. Для
решения этой задачи реализован ряд моделей машинного обучения.
Разработанные модели позволяют осуществлять попиксельную классификацию
пораженных деревьев пихты и кедра в зависимости от степени их повреждения
вредителями. Модели показали достаточно высокую эффективность при
классификации пикселей классов «Фон», «Живые», «Свежий сухостой»,
«Старый сухостой» и низкую – для класса «Отмирающие» в задаче
сегментации пихтовых деревьев, поврежденных уссурийским полиграфом. В
задаче сегментации кедровых деревьев, поврежденных союзным короедом,
модели U-Net и MH-Res-U-Net успешно сегментируют все классы, кроме класса
«Свежезаселенное», а модель MH-U-Net – все классы, кроме класса «Свежий
сухостой», ожидается, что продолжающийся процесс подбора гиперпараметров
позволит добиться более высокого результата.
Предложенные в работе архитектуры полносверточных сетей MH-U-Net
и MH-Res-U-Net продемонстрировали меньшую чувствительность к выбору
гиперпараметров, чем модели U-Net, SegNet и ENet, однако вопросы о
причинах такого поведения и деталях зависимости от значений конкретных
гиперпараметров требуют сбора большего количества данных и их
дальнейшего изучения.
Эффективность предложенных моделей может быть улучшена путем их
обучения на большем количестве снимков разных участков хвойных лесов.
Также она может быть повышена при использовании дополнительных данных,
например, снимков в ближнем инфракрасном диапазоне спектра, карт глубины
и т. п. Также перспективным может быть использование ансамблей полученных
моделей. Возможно, имеет смысл рассматривать задачу нечеткой
классификации крон деревьев, так как процесс ухудшения состояния деревьев
является непрерывным и часто сложно отнести дерево однозначно к какой-либо
из категорий, однако это является объектом дальнейших исследований.
СПИСОК ПУБЛИКАЦИЙ
Публикации по тематике магистерской диссертации:
1. Керчев И. А., Маслов К. А., Марков Н. Г., Токарева О. С. Семантическая
сегментация поврежденных деревьев пихты на снимках с беспилотных
летательных аппаратов // Современные проблемы дистанционного
зондирования Земли из космоса. 2021. Т. 18. №. 1. С. 116–126. (Scopus, WoS)
2. Маслов К. А. Байесовский подход к подбору гиперпараметров нейронных
сетей на примере задачи семантической сегментации // Научная сессия ТУСУР
– 2021. Материалы международной научно-технической конференции
студентов, аспирантов и молодых ученых. Томск, 19-21 мая 2021. Томск: В-
Спектр. 2021. В печати.
3. Маслов К. А. Автоматизированные методы выявления поврежденных
деревьев на снимках с беспилотных летательных аппаратов // Труды XXV
Международного научного симпозиума студентов и молодых ученых имени
академика М. А. Усова «Проблемы геологии и освоения недр». Томск, 5-9
апреля 2021. Томск: ТПУ. 2021. В печати.
4. Маслов К. А. Применение методов машинного и глубокого обучения в
задачах семантической сегментации изображений лесного покрова // Сборник
трудов XVIII Международной научно-практической конференции студентов,
аспирантов и молодых ученых «Молодежь и современные информационные
технологии. Томск, 22-26 марта 2021. Томск: ТПУ. 2021. В печати.
5. Маслов К. А., Токарева О. С., Керчев И. А., Марков Н. Г. Методы
машинного обучения в задачах семантической сегментации снимков с
беспилотных летательных аппаратов // Материалы 18-й Всероссийской
открытой конференции «Современные проблемы дистанционного
зондирования Земли из космоса». Электронный сборник материалов
конференции. Москва, 16-20 ноября 2020. Москва: Институт космических
исследований РАН. 2020. С. 31.
6. Марков Н. Г., Маслов К. А., Керчев И. А., Токарева О. С. Сверточная
нейронная сеть для сегментации пораженных деревьев пихты на снимках с
беспилотных летательных аппаратов // Региональные проблемы
дистанционного зондирования Земли – 2020. Материалы VII Международной
научной конференции. Красноярск, 29 сентября-2 октября 2020. Красноярск:
СФУ. 2020. C. 102–105.
7. Маслов К. А. Сегментация крон поврежденных деревьев на цифровых
снимках с БПЛА с использованием нейросетевых моделей // Научная сессия
ТУСУР – 2020. Материалы XXV Международной научно-технической
конференции студентов, аспирантов и молодых учёных: в 3 частях. Томск, 25-
27 мая 2020. Часть 2. Томск: В-Спектр. 2020. C. 135–138.
8. Маслов К. А. Классификация поврежденной уссурийским полиграфом пихты
на снимках с БПЛА методами компьютерного зрения // Труды XXIV
Международного научного симпозиума студентов и молодых ученых имени
академика М. А. Усова «Проблемы геологии и освоения недр». Томск, 6-10
апреля 2020. Том 1. Томск: ТПУ. 2020. С. 526–527.
9. Маслов К. А. Классификация пихты, поврежденной уссурийским
полиграфом, по снимкам с БПЛА с использованием нейронной сети U-Net //
Сборник трудов XVII Международной научно-практической конференции
студентов, аспирантов и молодых ученых «Молодежь и современные
информационные технологии». Томск, 17-20 февраля 2020. Томск: ТПУ. 2020.
С. 109–110.
10. Маслов К. А. Детерминированный алгоритм классификации пихты,
поврежденной уссурийским полиграфом, по снимкам с БПЛА // Сборник
трудов XVII Международной научно-практической конференции студентов,
аспирантов и молодых ученых «Молодежь и современные информационные
технологии». Томск, 17-20 февраля 2020. Томск: ТПУ. 2020. С. 107–108.
Другие публикации:
11. Maslov K. A. and Tokareva O. S. System for Automated Environmental
Monitoring using Remote Sensing Data of the Earth from Open Data Sources //
Proceedings of the 14th International Forum on Strategic Technology (IFOST 2019).
October 2019. IOP Publishing. DOI:10.1088/1757-899X/1019/1/01210. (Scopus)
12. Маслов К. А., Токарева О. С. Мониторинг изменений состояния хвойных
лесов, поврежденных насекомыми-вредителями, с использованием
космических снимков // Тринадцатое Сибирское совещание и школа молодых
ученых по климато-экологическому мониторингу. Тезисы докладов российской
конференции. Томск, 15-19 октября 2019 / Под редакцией М. В. Кабанова.
Томск: Аграф-Пресс. 2019. С. 210–211.
13. Маслов К. А., Токарева О. С. Система автоматизированного
экологического мониторинга с использованием данных дистанционного
зондирования Земли // Материалы 17-й Всероссийской открытой конференции
«Современные проблемы дистанционного зондирования Земли из космоса».
Электронный сборник материалов конференции. Москва, 11-15 ноября 2019.
Москва: Институт космических исследований РАН. 2019. С. 107.
14. Маслов К. А. Система автоматизированного мониторинга изменений
земной поверхности с использованием данных космической съемки // Труды
XXIV Международного научного симпозиума студентов и молодых ученых
имени академика М. А. Усова «Проблемы геологии и освоения недр». Томск, 6-
10 апреля 2020. Том 1. Томск: ТПУ. 2020. С. 524–525.
Последние выполненные заказы
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
4.8 (9 отзывов)
4.8 (2878 отзывов)
4.8 (37 отзывов)
4.2 (13 отзывов)
4.7 (46 отзывов)
4.6 (522 отзыва)
4.9 (35 отзывов)
4.8 (17 отзывов)
4.2 (25 отзывов)
