Разработка алгоритма автоматического восстановления позы скелета руки на основе карт глубины

Целью работы является разработка и реализация алгоритма для автоматического восстановления позы скелета руки на основе карт глубины. В работе рассматриваются как алгоритмические способы решения поставленной задачи, так и нейросетевые методы искусственного интеллекта. К области практического применения данной разработки можно отнести реализацию пользовательских интерфейсов для устройств виртуальной и дополненной реальности; создание качественного человеко-компьютерного интерфейса, в частности, для людей с ограниченными возможностями.

ВВЕДЕНИЕ …………………………………………………………………………………………………. 13

1 Анализ предметной области …………………………………………………………………….. 15

1.1 Описание предметной области ………………………………………………………….. 15

1.2 Обзор литературы …………………………………………………………………………….. 15

1.3 Теоретические основы ………………………………………………………………………. 17

1.3.1 Карты глубины ……………………………………………………………………………. 17

1.3.2 Матрица камеры ………………………………………………………………………….. 18

1.3.3 Скелетная анимация ……………………………………………………………………. 20

2 РАЗРАБОТКА АЛГОРИТМов восстановления позы скелета руки ……………. 22

2.1 Методы и средства разработки ………………………………………………………….. 22

2.1.1 Языки разработки………………………………………………………………………… 22

2.1.2 Среда разработки ………………………………………………………………………… 22

2.1.3 Используемые средства и фреймворки ………………………………………… 23

2.2 Проектирование архитектуры веб-приложения …………………………………. 24

2.2.1 Преимущества и недостатки микросервисной архитектуры …………. 27

2.3 Получение облака точек и пространственная фильтрация………………….. 28

2.4 Итеративный алгоритм ближайших точек …………………………………………. 29

2.5 Алгоритмический подход к решению задачи …………………………………….. 30

2.6 Нейросетевой подход к решению задачи …………………………………………… 33

2.6.1 Формализация задачи ………………………………………………………………….. 36

2.6.2 Проецирование облака точек ……………………………………………………….. 38

2.6.3 Архитектура CNN ……………………………………………………………………….. 40

2.6.4 Восстановление положения суставов по тепловым картам …………… 41

2.6.5 Обучение CNN ……………………………………………………………………………. 43
2.6.6 Наборы данных и метрики …………………………………………………………… 44

2.7 Тестирование ……………………………………………………………………………………. 45

3 РЕЗУЛЬТАТЫ РАБОТЫ ………………………………………………………………………….. 47

4 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ…………………………………………………………………………….. 50

4.1 Потенциальные потребители результатов исследования ……………………. 50

4.2 Сегментирование рынка ……………………………………………………………………. 50

4.3 Оценка конкурентоспособности технических решений ……………………… 51

4.4 SWOT-анализ……………………………………………………………………………………. 52

4.5 Оценка готовности проекта к коммерциализации………………………………. 54

4.5.1 Методы коммерциализации результатов научно-технического
исследования …………………………………………………………………………………………. 56

4.6 Инициация проекта …………………………………………………………………………… 56

4.6.1 Цели и результат проекта …………………………………………………………….. 56

4.6.2 Организационная структура проекта. …………………………………………… 58

4.6.3 Ограничения и допущения проекта. …………………………………………….. 59

4.7 График проведения и бюджет НТИ …………………………………………………… 59

4.7.1 Бюджет НТИ ……………………………………………………………………………….. 63

4.8 Реестр рисков проекта ………………………………………………………………………. 68

4.9 Оценка ресурсной, финансовой и экономической эффективности НТИ 69

5 СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ ……………………………………………………. 72

5.1 Производственная безопасность ……………………………………………………….. 72

5.2 Анализ выявленных вредных факторов при разработке и эксплуатации
проектируемого решения …………………………………………………………………………. 73

5.3 Анализ выявленных опасных факторов при разработке и эксплуатации
проектируемого решения …………………………………………………………………………. 81
5.3.1 Электробезопасность …………………………………………………………………… 81

5.3.2 Пожаробезопасность……………………………………………………………………. 83

5.4 Экологическая безопасность …………………………………………………………….. 83

5.4.1 Анализ влияния процесса исследования на окружающую среду …… 83

5.4.2 Обоснование мероприятий по защите окружающей среды …………… 84

5.5 Защита в чрезвычайных ситуациях ……………………………………………………. 85

5.5.1 Анализ вероятных ЧС, которые могут возникнуть на рабочем месте
при проведении исследований ………………………………………………………………. 85

5.5.2 Обоснование мероприятий по предотвращению ЧС и разработка
порядка действия в случае возникновения ЧС ………………………………………. 85

5.6 Правовые и организационные вопросы обеспечения безопасности ……. 87

5.6.1 Правовые нормы трудового законодательства ……………………………… 87

5.6.2 Организационные мероприятия при компоновке рабочей зоны
исследователя ………………………………………………………………………………………. 88

ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 92

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ …………………………………………….. 93

ПРИЛОЖЕНИЕ А (справочное) …………………………………………………………………… 96

ПРИЛОЖЕНИЕ Б CD-ДИСК ……………………………………………………………………… 104

1.Скелетная анимация, прямая и инверсная кинематика [Электронный
ресурс] – Режим доступа: http://www.mir3d.ru/learning/974 (дата обращения:
10.12.2018).
2.Официальный сайт Node.js. // Платформа Node.js. [Электронный
ресурс]–Режимдоступа:https://nodejs.org/en/docs/(датаобращения:
17.12.2018).
3.James S. Supancic, Grégory Rogez, Yi Yang, Jamie Shotton, Deva
Ramanan. Depth-Based Hand Pose Estimation: Data, Methods, and Challenges.
ICCV 2015.
4.Iason Oikonomidis, Nikolaos Kyriazis, Antonis A. Argyros. Efficient
Model-based 3D Tracking of Hand Articulations using Kinect. BMVC 2011.
5.Hui Liang, Shunfeng Wang, Qian Sun, Yong-Jin Liu, Junsong Yuan, Jun
Luo, Ying He. Barehanded music: real-time hand interaction for virtual piano. I3D
2016.
6.Chi Xu, Li Cheng. Efficient Hand Pose Estimation from a Single Depth
Image. ICCV 2013.
7.Danhang Tang, Tsz-Ho Yu, Tae-Kyun Kim. Real-Time Articulated
Hand Pose Estimation Using Semi-supervised Transductive Regression Forests.
ICCV 2013.
8.Furkan Kıraç, Yunus Emre Kara, Lale Akarun. Hierarchically
constrained 3D hand pose estimation using regression forests from single frame depth
data. Pattern Recognition Letters 2014.
9.Alexander Toshev, Christian Szegedy. DeepPose: Human Pose
Estimation via Deep Neural Networks. CVPR 2014.
10. Xiao Sun, Yichen Wei, Shuang Liang, Xiaoou Tang, Jian Sun. Cascaded
hand pose regression. CVPR 2015.
11. Arjun Jain, Jonathan Tompson, Mykhaylo Andriluka, Graham W.
Taylor, Christoph Bregler. Learning Human Pose Estimation Features with
Convolutional Networks. ICLR 2014.
12. Jonathan Tompson, Ross Goroshin, Arjun Jain, Yann LeCun,
Christopher Bregler. Efficient Object Localization Using Convolutional Networks.
CVPR 2015.
13. Jonathan Tompson, Murphy Martin Stein, Yann Lecun, Ken Perlin. R
eal-Time Continuous Pose Recovery of Human Hands Using Convolutional
Networks. ACM Transactions on Graphics 2014.
14. Chen Qian, Xiao Sun, Yichen Wei, Xiaoou Tang, Jian Sun. Realtime and
Robust Hand Tracking from Depth. CVPR 2014.
15. OpenPose–системадляопределенияключевыхточек
человеческого тела, рук, ног и лиц [Электронный ресурс] – Режим доступа:
https://github.com/CMU-Perceptual-Computing-Lab/openpose(датаобращения:
04.03.2019).
16. Keras – открытая нейросетевая библиотека, написанная на языке
Python [Электронный ресурс] – Режим доступа: https://keras.io (дата обращения:
11.02.2019).
17. СанПиН2.2.2/2.4.1340-03.«Гигиеническиетребованияк
персональным электронно-вычислительным машинам и организации работы».
18. ГОСТ 12.0.003-74 (с измен. №1, октябрь 1978г., переиздание 1999
г.) «Классификация вредных и опасных производственных факторов».
19. Безопасность жизнедеятельности: Учебник для вузов /Под ред. К.З.
Ушакова. – М.: Изд-во Московского гос. горного университета, 2000.– 430 с.
20. СанПиН 2.2.4.548 – 96. «Гигиенические требования к микроклимату
производственных помещений».
21. СНиП 23-05-95. «Естественное и искусственное освещение».
22. СНиП 23-05-2010 «Нормы Коэффициента пульсации помещений
административных зданий».
23. СН 2.2.4/2.1.8.562-96 «Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории жилой, застройки».
24. ПОТ РО 29-002-94. «Правила по охране труда для издательств».
25. ГОСТ 12.1.009-76 «Электробезопасность. Термины и определения».
26. СНиП 21-01-97. «Пожарная безопасность зданий и сооружений».
27. НПБ 105-95. «Определение категорий помещений и зданий по
взрывопожарной и пожарной опасности».
28. ГОСТ Р 50739-95 «Средства вычислительной техники. Защита от
несанкционированного доступа к информации».
29. ГОСТ 30772-2001 «Ресурсосбережение. Обращение с отходами.
Термины и определения».
30. Федеральныйзаконот8августа2001г.№128-ФЗ«О
лицензировании отдельных видов деятельности».
31. ГОСТ Р 55090-2012 «Ресурсосбережение. Обращение с отходами.
Рекомендации по утилизации отходов бумаги».
32. ГОСТ 10700-97 «Макулатура бумажная и картонная. Технические
условия».
33. СанПиН2.2.4.1191-03.«Электромагнитныеполяв
производственных условиях».
34. ГОСТР56276-2014«Газыпарниковые.Углеродныйслед
продукции. Требованияи руководящие указания поколичественному
определению и предоставлению информации».
35. ГОСТ Р ИСО 14046-2017 «Экологический менеджмент. Водный
след. Принципы, требования и руководящие указания».