Алгоритм локализации сельскохозяйственных растений в течение вегетативного периода на изображении

Работа посвящена разработке алгоритма локализации на изображении сельскохозяйственных растений на разных стадиях вегетативного роста. Особенностью задачи является требование к получению результата обработки изображения в виде координат структурных центров растений, обозначенных розетками побегов. В связи с этим задача была интерпретирована как задача детекции ключевых точек нескольких объектов на изображении. Решение задачи разделено на два этапа: разработка общего алгоритма для детекции ключевых точек на изображении и его реализация на имеющемся датасете. Алгоритм основан на использовании методов глубокого обучения и классических техник компьютерного зрения.

Введение ………………………………………………………………………………………………. 12
1 Обзор литературы по теме распознавания объектов и методов локализации
объектов на изображении ………………………………………………………………………. 14
1.1 Общие понятия задачи распознавания объектов ……………………………… 14
1.2 Детекция ключевых точек ……………………………………………………………… 16
1.3 Методы распознавания объектов и детекции ключевых точек …………. 18
1.4 Артефакты сегментации в задаче детекции ключевых точек ……………. 21
1.4.1 Причины возникновения артефактов ……………………………………….. 21
1.4.2 Методы устранения артефактов в сверточных нейронных сетях … 24
2 Проектирование метода решения задачи локализации объектов на
изображении …………………………………………………………………………………………. 28
2.1 Описание подхода к решению задачи …………………………………………….. 28
2.2 Определение структуры алгоритма ………………………………………………… 30
2.3 Разработка модуля сегментации изображений ………………………………… 32
2.3.1 Функция ошибки для задачи детекции ключевых точек …………….. 32
2.3.2 Архитектура нейронной сети …………………………………………………… 35
2.3.3 Выбор метода оптимизации …………………………………………………….. 38
2.4 Разработка модуля вычисления относительных координат объекта на
изображении ……………………………………………………………………………………… 40
2.5 Выбор метрик оценки обученной модели ……………………………………….. 42
Выводы …………………………………………………………………………………………….. 44
3 Реализация алгоритма локализации объектов на изображениях сахарной
свеклы на разных стадиях вегетативного роста ……………………………………….. 45
3.1 Подготовка данных ………………………………………………………………………. 45
3.1.1 Описание данных и аннотация изображений …………………………….. 45
3.1.2 Аугментация данных в обучающей выборке …………………………….. 46
3.1.3 Описание дополниительной выборки изображений для
предтренировки модели ………………………………………………………………….. 47
3.2 Описание стека технологий …………………………………………………………… 49
3.3 Обсуждение результатов ……………………………………………………………….. 50
3.3.1 Сравнение моделей …………………………………………………………………. 50
3.3.2 Результаты тренировки выбранной модели ………………………………. 50
Выводы …………………………………………………………………………………………….. 55
4 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение … 56
4.1 Предпроектный анализ ………………………………………………………………….. 57
4.1.1 Потенциальные потребители …………………………………………………… 57
4.1.2 Анализ конкурентных технических решений ……………………………. 58
4.1.3 SWOT-анализ …………………………………………………………………………. 59
4.2 Инициация проекта ………………………………………………………………………. 62
4.2.1 Цели и результат проекта ………………………………………………………… 62
4.2.2 Организационная структура проекта ………………………………………… 63
4.2.3 Ограничения и допущения проекта ………………………………………….. 63
4.3 Планирование управления проектом ……………………………………………… 64
4.3.1 Структура работ в рамках проекта …………………………………………… 64
4.3.2 Определение трудоемкости выполнения работ …………………………. 65
4.3.3 Бюджет проекта ……………………………………………………………………… 67
4.3.4 Реестр рисков проекта …………………………………………………………….. 72
4.4 Определение экономической эффективности ………………………………….. 74
Выводы …………………………………………………………………………………………….. 74
5 Социальная ответственность ……………………………………………………………….. 76
5.1 Правовые и организационные вопросы обеспечения безопасности ….. 76
5.2 Производственная безопасность …………………………………………………….. 79
5.3 Экологическая безопасность………………………………………………………….. 87
5.4 Безопасность в чрезвычайных ситуациях ……………………………………….. 89
Выводы …………………………………………………………………………………………….. 91
Заключение …………………………………………………………………………………………… 92
Список использованных источников ………………………………………………………. 94
Приложение I ………………………………………………………………………………………… 98

В рамках настоящей работы разработан алгоритм локализации
объектов на изображении и произведена его реализация на датасете снимков
сахарной свеклы на разных стадиях вегетационного роста. Выполнены
следующие задачи:
1) Проведен обзор литературы по теме работы и рассмотрены методы
решения задачи распознавания объектов на изображении.
2) Составлены подход к решению поставленной задачи и структура
алгоритма.
3) Спроектирован модуль сегментации изображений.
4) Разработан модуля вычисления относительных координат объекта
на изображении.
5) Выбрана методика оценки качества обученной модели.
6) Алгоритм локализации реализован на имеющихся данных.
7) Проведено обсуждение результатов.
Рассмотренная задача локализации структурных центров растений
была сформулирована как задача детекции ключевых точек объектов на
изображении. Разработанный алгоритм состоит из двух модулей,
выполняющих сегментацию изображений и вычисление координат ключевых
точек на сгенерированной маске. Сегментация выполняется с помощью
сверточной нейронной сети TernausNet с предобученным кодировщиком сети
VGG16, взвешенным расстоянием Хаусдорфа в качестве функции ошибки и
заменой слоев деконволюции в декодировщике на последовательные опреции
билинейной интерполяции и свертки. Обучение модели проведено в два этапа:
обучение всей сети на дополнительном датасете изображений из близкой
предметной области с последующим обновлением весов последнего слоя и
обучение на основных данных – снимках сахарной свеклы в период
вегетационного роста.
Эффективность модели подтверждена значениями метрик качества:
F-score обученной модели составил 94,1%. Данное значение превышает
значения метрик, полученные другими архитектурами, которые участвовали в
сравнении при выборе модели. В том числе полученная величина F-score
оказалась выше, чем для модели, обученной в один этап исключительно на
основном наборе данных, что подтвердило эффективность двухэтапной
тренировки с дополнительным набором данных.
Эффективность модели также была доказана для обработки снимков
растений на различных стадиях роста. Оценка качества модели проведена на
подвыборках изображений с побегами на ранней, средней и поздней
стадиях вегетативного периода – значения F-score для них составили,
соответственно, 93,5%, 96,8%, и 91,9%.
В работе приведена оценка востребованности и экономической
эффективности разработки, разработан бюджет проектного решения и
сформирован реестр рисков. Проведен анализ вредных и опасных
производственных факторов, произведена оценка рабочего места на
соответствие нормативным требованиям производственной безопасности и
охраны труда.

1.Thies J. et al. Face2face: Real-time face capture and reenactment of rgb
videos //Proceedings of the IEEE conference on computer vision and pattern
recognition. – 2016. – С. 2387-2395.
2.UsingMarkerlessAugmentedRealityforDigitalAvatars
[Электронный ресурс] // Deepmotion: [сайт] – 2019. – Режим доступа:
https://blog.deepmotion.com/2019/05/21/markerless-augmented-reality-for-ar-
avatars/, свободный (дата обращения: 15.04.2020).
3.Belghit H. et al. Vision-based Pose Estimation for Augmented Reality:
A Comparison Study //arXiv preprint arXiv:1806.09316. – 2018.
4.Zhang S. H. et al. Pose2seg: detection free human instance
segmentation //Proceedings of the IEEE conference on computer vision and pattern
recognition. – 2019. – С. 889-898.
5.Zhang Y. et al. Aircraft type recognition in remote sensing images
based on feature learning with conditional generative adversarial networks //Remote
Sensing. – 2018. – Т. 10. – №. 7. – С. 1123.
6.Girshick R. et al. Rich feature hierarchies for accurate object detection
and semantic segmentation //Proceedings of the IEEE conference on computer
vision and pattern recognition. – 2014. – С. 580-587.
7.Ren S. et al. Faster r-cnn: Towards real-time object detection with
region proposal networks //Advances in neural information processing systems. –
2015. – С. 91-99.
8.Girshick R. Fast r-cnn //Proceedings of the IEEE international
conference on computer vision. – 2015. – С. 1440-1448.
9.He K. et al. Mask r-cnn //Proceedings of the IEEE international
conference on computer vision. – 2017. – С. 2961-2969.
10. Redmon J. et al. You only look once: Unified, real-time object detection
//Proceedings of the IEEE conference on computer vision and pattern recognition. –
2016. – С. 779-788.
11. Moon G., Chang J. Y., Lee K. M. Posefix: Model-agnostic general
human pose refinement network //Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition. – 2019. – С. 7773-7781.
12. Sun K. et al. Deep high-resolution representation learning for human
pose estimation //Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition. – 2019. – С. 5693-5703.
13. Li W. et al. Rethinking on multi-stage networks for human pose
estimation //arXiv preprint arXiv:1901.00148. – 2019.
14. Pavlakos G. et al. 6-dof object pose from semantic keypoints //2017
IEEE international conference on robotics and automation (ICRA). – IEEE, 2017. –
С. 2011-2018.
15. Ribera, J., Guera, D., Chen, Y., & Delp, E. J. (2019). Locating Objects
Without Bounding Boxes. In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition (pp. 6479-6489).
16. Radford A., Metz L., Chintala S. Unsupervised representation learning
with deep convolutional generative adversarial networks //arXiv preprint
arXiv:1511.06434. – 2015.
17. Radford A., Metz L., Chintala S. Unsupervised representation learning
with deep convolutional generative adversarial networks //arXiv preprint
arXiv:1511.06434. – 2015.
18. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for
biomedical image segmentation //International Conference on Medical image
computing. – Springer, Cham, 2015. – С. 234-241.
19. Odena A., Dumoulin V., Olah C. Deconvolution and checkerboard
artifacts //Distill. – 2016. – Т. 1. – №. 10. – С. e3.
20. Dasiopoulou, Stamatia, et al. “Knowledge-assisted semantic video
object detection.” IEEE Transactions on Circuits and Systems for Video Technology
15.10 (2005): 1210-1224.
21. Shelhamer, J. Long and T. Darrell, “Fully Convolutional Networks for
Semantic Segmentation,” in IEEE Transactions on Pattern Analysis and Machine
Intelligence,vol.39,no.4,pp.640-651,1April2017,doi:
10.1109/TPAMI.2016.2572683.
22. Ribera, Javier, et al. “Weighted hausdorff distance: A loss function for
object localization.” arXiv preprint arXiv:1806.07564 (2018).
23. Скворцов, В. А. (2002). Примеры метрических пространств. М.:
МЦНМО, 24.
24. Iglovikov, V., & Shvets, A. (2018). Ternausnet: U-net with vgg11
encoder pre-trained on imagenet for image segmentation. arXiv preprint
arXiv:1801.05746.
25. Shvets, Alexey & Iglovikov, Vladimir & Rakhlin, Alexander &
Kalinin, Alexandr. (2018). Angiodysplasia Detection and Localization Using Deep
Convolutional Neural Networks.
26. Maggiori, Emmanuel, et al. “Can semantic labeling methods generalize
to any city? the inria aerial image labeling benchmark.” 2017 IEEE International
Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2017.
27. Ning Qian. On the momentum term in gradient descent learning
algorithms. Neural networks: the official journal of the International Neural Network
Society, 12(1):145–151, 1999
28. Kingma D. P., Ba J. Adam: A method for stochastic optimization
//arXiv preprint arXiv:1412.6980. – 2014.
29. Zeiler M. D. Adadelta: an adaptive learning rate method //arXiv
preprint arXiv:1212.5701. – 2012.
30. Sorghum Plant Centers 2016 Dataset. The PhenoSorg Project // VIPER
Video and Image Processing Laboratory [Электронный ресурс] – Режим доступа:
https://engineering.purdue.edu/~sorghum/dataset-plant-centers-2016/, свободный
(дата обращения: 16.12.2019).
31. Назаренко О. Б. Расчёт искусственного освещения. Методические
указания к выполнению индивидуальных заданий для студентов дневного и
заочного обучения всех направлений и специальностей ТПУ. – Томск: Изд.
ТПУ, 2008.
32. ГОСТ 55090-2012. Ресурсосбережение. Обращение с отходами.
Рекомендации по утилизации отходов бумаги // Электронный фонд правовой
и нормативно-технической документации. [Электронный ресурс]. URL:
http://docs.cntd.ru/document/1200103182 (дата обращения: 06.05.2020).
33. ГОСТ 55102-2012. Ресурсосбережение. Обращение с отходами.
Руководство по безопасному сбору, хранению, транспортированию и разборке
отработавшего электротехнического и электронного оборудования, за
исключением ртутьсодержащих устройств и приборов // Электронный фонд
правовой и нормативно-технической документации. [Электронный ресурс].
URL: http://docs.cntd.ru/document/1200104723 (дата обращения: 06.05.2020).
34. Постановление Правительства РФ от 03.09.2010 N 681 (ред. от
01.10.2013) “Об утверждении Правил обращения с отходами производства и
потребления в части осветительных устройств, электрических ламп,
ненадлежащиесбор,накопление,использование,обезвреживание,
транспортирование и размещение которых может повлечь причинение вреда
жизни, здоровью граждан, вреда животным, растениям и окружающей среде //
Государственная система правовой информации [Электронный ресурс]. URL:
http://pravo.gov.ru/proxy/ips/?docbody=&nd=102141053(датаобращения:
06.05.2020).
35. СП 5.13130.2009 Системы противопожарной защиты. Установки
пожарной сигнализации и пожаротушения автоматические. Нормы и правила
проектирования (с Изменением N 1) // Электронный фонд правовой и
нормативно-техническойдокументации.[Электронныйресурс].URL:
http://docs.cntd.ru/document/1200071148 (дата обращения: 06.05.2020).
36. СП 3.13130.2009 Системы противопожарной защиты. Система
оповещения и управления эвакуацией людей при пожаре. Требования
пожарной безопасности // Электронный фонд правовой и нормативно-
техническойдокументации.[Электронныйресурс].URL:
http://docs.cntd.ru/document/1200071145 (дата обращения: 06.05.2020).