Разработка алгоритма автоматического восстановления позы скелета руки на основе карт глубины

Иовлев, Юлий Денисович Отделение информационных технологий (ОИТ)
Бесплатно
В избранное
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Целью работы является разработка и реализация алгоритма для автоматического восстановления позы скелета руки на основе карт глубины. В работе рассматриваются как алгоритмические способы решения поставленной задачи, так и нейросетевые методы искусственного интеллекта. К области практического применения данной разработки можно отнести реализацию пользовательских интерфейсов для устройств виртуальной и дополненной реальности; создание качественного человеко-компьютерного интерфейса, в частности, для людей с ограниченными возможностями.

ВВЕДЕНИЕ …………………………………………………………………………………………………. 13

1 Анализ предметной области …………………………………………………………………….. 15

1.1 Описание предметной области ………………………………………………………….. 15

1.2 Обзор литературы …………………………………………………………………………….. 15

1.3 Теоретические основы ………………………………………………………………………. 17

1.3.1 Карты глубины ……………………………………………………………………………. 17

1.3.2 Матрица камеры ………………………………………………………………………….. 18

1.3.3 Скелетная анимация ……………………………………………………………………. 20

2 РАЗРАБОТКА АЛГОРИТМов восстановления позы скелета руки ……………. 22

2.1 Методы и средства разработки ………………………………………………………….. 22

2.1.1 Языки разработки………………………………………………………………………… 22

2.1.2 Среда разработки ………………………………………………………………………… 22

2.1.3 Используемые средства и фреймворки ………………………………………… 23

2.2 Проектирование архитектуры веб-приложения …………………………………. 24

2.2.1 Преимущества и недостатки микросервисной архитектуры …………. 27

2.3 Получение облака точек и пространственная фильтрация………………….. 28

2.4 Итеративный алгоритм ближайших точек …………………………………………. 29

2.5 Алгоритмический подход к решению задачи …………………………………….. 30

2.6 Нейросетевой подход к решению задачи …………………………………………… 33

2.6.1 Формализация задачи ………………………………………………………………….. 36

2.6.2 Проецирование облака точек ……………………………………………………….. 38

2.6.3 Архитектура CNN ……………………………………………………………………….. 40

2.6.4 Восстановление положения суставов по тепловым картам …………… 41

2.6.5 Обучение CNN ……………………………………………………………………………. 43
2.6.6 Наборы данных и метрики …………………………………………………………… 44

2.7 Тестирование ……………………………………………………………………………………. 45

3 РЕЗУЛЬТАТЫ РАБОТЫ ………………………………………………………………………….. 47

4 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ…………………………………………………………………………….. 50

4.1 Потенциальные потребители результатов исследования ……………………. 50

4.2 Сегментирование рынка ……………………………………………………………………. 50

4.3 Оценка конкурентоспособности технических решений ……………………… 51

4.4 SWOT-анализ……………………………………………………………………………………. 52

4.5 Оценка готовности проекта к коммерциализации………………………………. 54

4.5.1 Методы коммерциализации результатов научно-технического
исследования …………………………………………………………………………………………. 56

4.6 Инициация проекта …………………………………………………………………………… 56

4.6.1 Цели и результат проекта …………………………………………………………….. 56

4.6.2 Организационная структура проекта. …………………………………………… 58

4.6.3 Ограничения и допущения проекта. …………………………………………….. 59

4.7 График проведения и бюджет НТИ …………………………………………………… 59

4.7.1 Бюджет НТИ ……………………………………………………………………………….. 63

4.8 Реестр рисков проекта ………………………………………………………………………. 68

4.9 Оценка ресурсной, финансовой и экономической эффективности НТИ 69

5 СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ ……………………………………………………. 72

5.1 Производственная безопасность ……………………………………………………….. 72

5.2 Анализ выявленных вредных факторов при разработке и эксплуатации
проектируемого решения …………………………………………………………………………. 73

5.3 Анализ выявленных опасных факторов при разработке и эксплуатации
проектируемого решения …………………………………………………………………………. 81
5.3.1 Электробезопасность …………………………………………………………………… 81

5.3.2 Пожаробезопасность……………………………………………………………………. 83

5.4 Экологическая безопасность …………………………………………………………….. 83

5.4.1 Анализ влияния процесса исследования на окружающую среду …… 83

5.4.2 Обоснование мероприятий по защите окружающей среды …………… 84

5.5 Защита в чрезвычайных ситуациях ……………………………………………………. 85

5.5.1 Анализ вероятных ЧС, которые могут возникнуть на рабочем месте
при проведении исследований ………………………………………………………………. 85

5.5.2 Обоснование мероприятий по предотвращению ЧС и разработка
порядка действия в случае возникновения ЧС ………………………………………. 85

5.6 Правовые и организационные вопросы обеспечения безопасности ……. 87

5.6.1 Правовые нормы трудового законодательства ……………………………… 87

5.6.2 Организационные мероприятия при компоновке рабочей зоны
исследователя ………………………………………………………………………………………. 88

ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 92

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ …………………………………………….. 93

ПРИЛОЖЕНИЕ А (справочное) …………………………………………………………………… 96

ПРИЛОЖЕНИЕ Б CD-ДИСК ……………………………………………………………………… 104

Жесты являются частью нашей повседневной жизни, например,
некоторые люди жестикулируют, пока они говорят, чтобы подчеркнуть их
намерения, маленькие дети указывают на то, что они хотели бы, люди
приветствуют друг друга, просто размахивая руками.
Таким образом, жесты являются привычной, интуитивно-понятной и
простой формой коммуникации, а задача оценки человеческой позы и
выявление жестов вызывает всё больше интереса в области компьютерного
зрения.
Жесты могут использоваться для бесконтактного управления
приложением или для игры на консолях, например, Xbox 360 в сочетании с
недорогим RGB-D датчиком Microsoft Kinect, который может генерировать 3D
облако точек сцены перед камерой. В таком случае подаваемые команды
определяются на основе движений или расположений частей тела.
Обнаружение жестов тела и рук требуют эффективных алгоритмов для
оценки и классификации всего тела или жестов.
Одна из основных проблем при оценке жестов – это огромное число
различных состояний. Например, рука представляет собой очень подвижный
объект, имеющий не менее 26 степеней свободы, что даже с учетом
ограничений на каждую степень свободы превращается во множество
различных жестов.
В связи с вышеизложенным, высокую степень актуальности имеет
задача разработки алгоритмов обработки данных с датчиков глубины,
детектирования и распознавания различных объектов в облаке точек.
Предметом исследования являются алгоритмы обработки данных с датчиков, а
объектом являются карты глубины, полученные непосредственно с помощью
датчиков.
Целью работы является разработка алгоритма автоматического
восстановления позы скелета руки на основе карт глубины. В работе
рассматриваются как алгоритмические способы решения поставленной задачи,
так и нейросетевые методы искусственного интеллекта. К области
практического применения данной разработки можно отнести реализацию
пользовательских интерфейсов для устройств виртуальной и дополненной
реальности, создание качественного человеко-компьютерного интерфейса, в
частности, для людей с ограниченными возможностями.

1.Скелетная анимация, прямая и инверсная кинематика [Электронный
ресурс] – Режим доступа: http://www.mir3d.ru/learning/974 (дата обращения:
10.12.2018).
2.Официальный сайт Node.js. // Платформа Node.js. [Электронный
ресурс]–Режимдоступа:https://nodejs.org/en/docs/(датаобращения:
17.12.2018).
3.James S. Supancic, Grégory Rogez, Yi Yang, Jamie Shotton, Deva
Ramanan. Depth-Based Hand Pose Estimation: Data, Methods, and Challenges.
ICCV 2015.
4.Iason Oikonomidis, Nikolaos Kyriazis, Antonis A. Argyros. Efficient
Model-based 3D Tracking of Hand Articulations using Kinect. BMVC 2011.
5.Hui Liang, Shunfeng Wang, Qian Sun, Yong-Jin Liu, Junsong Yuan, Jun
Luo, Ying He. Barehanded music: real-time hand interaction for virtual piano. I3D
2016.
6.Chi Xu, Li Cheng. Efficient Hand Pose Estimation from a Single Depth
Image. ICCV 2013.
7.Danhang Tang, Tsz-Ho Yu, Tae-Kyun Kim. Real-Time Articulated
Hand Pose Estimation Using Semi-supervised Transductive Regression Forests.
ICCV 2013.
8.Furkan Kıraç, Yunus Emre Kara, Lale Akarun. Hierarchically
constrained 3D hand pose estimation using regression forests from single frame depth
data. Pattern Recognition Letters 2014.
9.Alexander Toshev, Christian Szegedy. DeepPose: Human Pose
Estimation via Deep Neural Networks. CVPR 2014.
10. Xiao Sun, Yichen Wei, Shuang Liang, Xiaoou Tang, Jian Sun. Cascaded
hand pose regression. CVPR 2015.
11. Arjun Jain, Jonathan Tompson, Mykhaylo Andriluka, Graham W.
Taylor, Christoph Bregler. Learning Human Pose Estimation Features with
Convolutional Networks. ICLR 2014.
12. Jonathan Tompson, Ross Goroshin, Arjun Jain, Yann LeCun,
Christopher Bregler. Efficient Object Localization Using Convolutional Networks.
CVPR 2015.
13. Jonathan Tompson, Murphy Martin Stein, Yann Lecun, Ken Perlin. R
eal-Time Continuous Pose Recovery of Human Hands Using Convolutional
Networks. ACM Transactions on Graphics 2014.
14. Chen Qian, Xiao Sun, Yichen Wei, Xiaoou Tang, Jian Sun. Realtime and
Robust Hand Tracking from Depth. CVPR 2014.
15. OpenPose–системадляопределенияключевыхточек
человеческого тела, рук, ног и лиц [Электронный ресурс] – Режим доступа:
https://github.com/CMU-Perceptual-Computing-Lab/openpose(датаобращения:
04.03.2019).
16. Keras – открытая нейросетевая библиотека, написанная на языке
Python [Электронный ресурс] – Режим доступа: https://keras.io (дата обращения:
11.02.2019).
17. СанПиН2.2.2/2.4.1340-03.«Гигиеническиетребованияк
персональным электронно-вычислительным машинам и организации работы».
18. ГОСТ 12.0.003-74 (с измен. №1, октябрь 1978г., переиздание 1999
г.) «Классификация вредных и опасных производственных факторов».
19. Безопасность жизнедеятельности: Учебник для вузов /Под ред. К.З.
Ушакова. – М.: Изд-во Московского гос. горного университета, 2000.– 430 с.
20. СанПиН 2.2.4.548 – 96. «Гигиенические требования к микроклимату
производственных помещений».
21. СНиП 23-05-95. «Естественное и искусственное освещение».
22. СНиП 23-05-2010 «Нормы Коэффициента пульсации помещений
административных зданий».
23. СН 2.2.4/2.1.8.562-96 «Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории жилой, застройки».
24. ПОТ РО 29-002-94. «Правила по охране труда для издательств».
25. ГОСТ 12.1.009-76 «Электробезопасность. Термины и определения».
26. СНиП 21-01-97. «Пожарная безопасность зданий и сооружений».
27. НПБ 105-95. «Определение категорий помещений и зданий по
взрывопожарной и пожарной опасности».
28. ГОСТ Р 50739-95 «Средства вычислительной техники. Защита от
несанкционированного доступа к информации».
29. ГОСТ 30772-2001 «Ресурсосбережение. Обращение с отходами.
Термины и определения».
30. Федеральныйзаконот8августа2001г.№128-ФЗ«О
лицензировании отдельных видов деятельности».
31. ГОСТ Р 55090-2012 «Ресурсосбережение. Обращение с отходами.
Рекомендации по утилизации отходов бумаги».
32. ГОСТ 10700-97 «Макулатура бумажная и картонная. Технические
условия».
33. СанПиН2.2.4.1191-03.«Электромагнитныеполяв
производственных условиях».
34. ГОСТР56276-2014«Газыпарниковые.Углеродныйслед
продукции. Требованияи руководящие указания поколичественному
определению и предоставлению информации».
35. ГОСТ Р ИСО 14046-2017 «Экологический менеджмент. Водный
след. Принципы, требования и руководящие указания».

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Последние выполненные заказы

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Рима С.
    5 (18 отзывов)
    Берусь за решение юридических задач, за написание серьезных научных статей, магистерских диссертаций и дипломных работ. Окончила Кемеровский государственный универси... Читать все
    Берусь за решение юридических задач, за написание серьезных научных статей, магистерских диссертаций и дипломных работ. Окончила Кемеровский государственный университет, являюсь бакалавром, магистром юриспруденции (с отличием)
    #Кандидатские #Магистерские
    38 Выполненных работ
    Анна К. ТГПУ им.ЛН.Толстого 2010, ФИСиГН, выпускник
    4.6 (30 отзывов)
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помог... Читать все
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помогала студентам, вышедшим на меня по рекомендации.
    #Кандидатские #Магистерские
    37 Выполненных работ
    Оксана М. Восточноукраинский национальный университет, студент 4 - ...
    4.9 (37 отзывов)
    Возможно выполнение работ по правоведению и политологии. Имею высшее образование менеджера ВЭД и правоведа, защитила кандидатскую и докторскую диссертации по политоло... Читать все
    Возможно выполнение работ по правоведению и политологии. Имею высшее образование менеджера ВЭД и правоведа, защитила кандидатскую и докторскую диссертации по политологии.
    #Кандидатские #Магистерские
    68 Выполненных работ
    Анна В. Инжэкон, студент, кандидат наук
    5 (21 отзыв)
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссе... Читать все
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссертаций. Работала в маркетинге. Практикующий бизнес-консультант.
    #Кандидатские #Магистерские
    31 Выполненная работа
    Дарья С. Томский государственный университет 2010, Юридический, в...
    4.8 (13 отзывов)
    Практикую гражданское, семейное право. Преподаю указанные дисциплины в ВУЗе. Выполняла работы на заказ в течение двух лет. Обучалась в аспирантуре, подготовила диссерт... Читать все
    Практикую гражданское, семейное право. Преподаю указанные дисциплины в ВУЗе. Выполняла работы на заказ в течение двух лет. Обучалась в аспирантуре, подготовила диссертационное исследование, которое сейчас находится на рассмотрении в совете.
    #Кандидатские #Магистерские
    18 Выполненных работ
    Дмитрий Л. КНЭУ 2015, Экономики и управления, выпускник
    4.8 (2878 отзывов)
    Занимаю 1 место в рейтинге исполнителей по категориям работ "Научные статьи" и "Эссе". Пишу дипломные работы и магистерские диссертации.
    Занимаю 1 место в рейтинге исполнителей по категориям работ "Научные статьи" и "Эссе". Пишу дипломные работы и магистерские диссертации.
    #Кандидатские #Магистерские
    5125 Выполненных работ
    Олег Н. Томский политехнический университет 2000, Инженерно-эконо...
    4.7 (96 отзывов)
    Здравствуйте! Опыт написания работ более 12 лет. За это время были успешно защищены более 2 500 написанных мною магистерских диссертаций, дипломов, курсовых работ. Явл... Читать все
    Здравствуйте! Опыт написания работ более 12 лет. За это время были успешно защищены более 2 500 написанных мною магистерских диссертаций, дипломов, курсовых работ. Являюсь действующим преподавателем одного из ВУЗов.
    #Кандидатские #Магистерские
    177 Выполненных работ
    Родион М. БГУ, выпускник
    4.6 (71 отзыв)
    Высшее экономическое образование. Мои клиенты успешно защищают дипломы и диссертации в МГУ, ВШЭ, РАНХиГС, а также других топовых университетах России.
    Высшее экономическое образование. Мои клиенты успешно защищают дипломы и диссертации в МГУ, ВШЭ, РАНХиГС, а также других топовых университетах России.
    #Кандидатские #Магистерские
    108 Выполненных работ
    Алёна В. ВГПУ 2013, исторический, преподаватель
    4.2 (5 отзывов)
    Пишу дипломы, курсовые, диссертации по праву, а также истории и педагогике. Закончила исторический факультет ВГПУ. Имею высшее историческое и дополнительное юридическо... Читать все
    Пишу дипломы, курсовые, диссертации по праву, а также истории и педагогике. Закончила исторический факультет ВГПУ. Имею высшее историческое и дополнительное юридическое образование. В данный момент работаю преподавателем.
    #Кандидатские #Магистерские
    25 Выполненных работ

    Другие учебные работы по предмету