Разработка алгоритма автоматического восстановления позы скелета руки на основе карт глубины

Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0
Иовлев, Юлий Денисович Отделение информационных технологий (ОИТ)
Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Целью работы является разработка и реализация алгоритма для автоматического восстановления позы скелета руки на основе карт глубины. В работе рассматриваются как алгоритмические способы решения поставленной задачи, так и нейросетевые методы искусственного интеллекта. К области практического применения данной разработки можно отнести реализацию пользовательских интерфейсов для устройств виртуальной и дополненной реальности; создание качественного человеко-компьютерного интерфейса, в частности, для людей с ограниченными возможностями.

ВВЕДЕНИЕ …………………………………………………………………………………………………. 13

1 Анализ предметной области …………………………………………………………………….. 15

1.1 Описание предметной области ………………………………………………………….. 15

1.2 Обзор литературы …………………………………………………………………………….. 15

1.3 Теоретические основы ………………………………………………………………………. 17

1.3.1 Карты глубины ……………………………………………………………………………. 17

1.3.2 Матрица камеры ………………………………………………………………………….. 18

1.3.3 Скелетная анимация ……………………………………………………………………. 20

2 РАЗРАБОТКА АЛГОРИТМов восстановления позы скелета руки ……………. 22

2.1 Методы и средства разработки ………………………………………………………….. 22

2.1.1 Языки разработки………………………………………………………………………… 22

2.1.2 Среда разработки ………………………………………………………………………… 22

2.1.3 Используемые средства и фреймворки ………………………………………… 23

2.2 Проектирование архитектуры веб-приложения …………………………………. 24

2.2.1 Преимущества и недостатки микросервисной архитектуры …………. 27

2.3 Получение облака точек и пространственная фильтрация………………….. 28

2.4 Итеративный алгоритм ближайших точек …………………………………………. 29

2.5 Алгоритмический подход к решению задачи …………………………………….. 30

2.6 Нейросетевой подход к решению задачи …………………………………………… 33

2.6.1 Формализация задачи ………………………………………………………………….. 36

2.6.2 Проецирование облака точек ……………………………………………………….. 38

2.6.3 Архитектура CNN ……………………………………………………………………….. 40

2.6.4 Восстановление положения суставов по тепловым картам …………… 41

2.6.5 Обучение CNN ……………………………………………………………………………. 43
2.6.6 Наборы данных и метрики …………………………………………………………… 44

2.7 Тестирование ……………………………………………………………………………………. 45

3 РЕЗУЛЬТАТЫ РАБОТЫ ………………………………………………………………………….. 47

4 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ…………………………………………………………………………….. 50

4.1 Потенциальные потребители результатов исследования ……………………. 50

4.2 Сегментирование рынка ……………………………………………………………………. 50

4.3 Оценка конкурентоспособности технических решений ……………………… 51

4.4 SWOT-анализ……………………………………………………………………………………. 52

4.5 Оценка готовности проекта к коммерциализации………………………………. 54

4.5.1 Методы коммерциализации результатов научно-технического
исследования …………………………………………………………………………………………. 56

4.6 Инициация проекта …………………………………………………………………………… 56

4.6.1 Цели и результат проекта …………………………………………………………….. 56

4.6.2 Организационная структура проекта. …………………………………………… 58

4.6.3 Ограничения и допущения проекта. …………………………………………….. 59

4.7 График проведения и бюджет НТИ …………………………………………………… 59

4.7.1 Бюджет НТИ ……………………………………………………………………………….. 63

4.8 Реестр рисков проекта ………………………………………………………………………. 68

4.9 Оценка ресурсной, финансовой и экономической эффективности НТИ 69

5 СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ ……………………………………………………. 72

5.1 Производственная безопасность ……………………………………………………….. 72

5.2 Анализ выявленных вредных факторов при разработке и эксплуатации
проектируемого решения …………………………………………………………………………. 73

5.3 Анализ выявленных опасных факторов при разработке и эксплуатации
проектируемого решения …………………………………………………………………………. 81
5.3.1 Электробезопасность …………………………………………………………………… 81

5.3.2 Пожаробезопасность……………………………………………………………………. 83

5.4 Экологическая безопасность …………………………………………………………….. 83

5.4.1 Анализ влияния процесса исследования на окружающую среду …… 83

5.4.2 Обоснование мероприятий по защите окружающей среды …………… 84

5.5 Защита в чрезвычайных ситуациях ……………………………………………………. 85

5.5.1 Анализ вероятных ЧС, которые могут возникнуть на рабочем месте
при проведении исследований ………………………………………………………………. 85

5.5.2 Обоснование мероприятий по предотвращению ЧС и разработка
порядка действия в случае возникновения ЧС ………………………………………. 85

5.6 Правовые и организационные вопросы обеспечения безопасности ……. 87

5.6.1 Правовые нормы трудового законодательства ……………………………… 87

5.6.2 Организационные мероприятия при компоновке рабочей зоны
исследователя ………………………………………………………………………………………. 88

ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 92

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ …………………………………………….. 93

ПРИЛОЖЕНИЕ А (справочное) …………………………………………………………………… 96

ПРИЛОЖЕНИЕ Б CD-ДИСК ……………………………………………………………………… 104

Жесты являются частью нашей повседневной жизни, например,
некоторые люди жестикулируют, пока они говорят, чтобы подчеркнуть их
намерения, маленькие дети указывают на то, что они хотели бы, люди
приветствуют друг друга, просто размахивая руками.
Таким образом, жесты являются привычной, интуитивно-понятной и
простой формой коммуникации, а задача оценки человеческой позы и
выявление жестов вызывает всё больше интереса в области компьютерного
зрения.
Жесты могут использоваться для бесконтактного управления
приложением или для игры на консолях, например, Xbox 360 в сочетании с
недорогим RGB-D датчиком Microsoft Kinect, который может генерировать 3D
облако точек сцены перед камерой. В таком случае подаваемые команды
определяются на основе движений или расположений частей тела.
Обнаружение жестов тела и рук требуют эффективных алгоритмов для
оценки и классификации всего тела или жестов.
Одна из основных проблем при оценке жестов – это огромное число
различных состояний. Например, рука представляет собой очень подвижный
объект, имеющий не менее 26 степеней свободы, что даже с учетом
ограничений на каждую степень свободы превращается во множество
различных жестов.
В связи с вышеизложенным, высокую степень актуальности имеет
задача разработки алгоритмов обработки данных с датчиков глубины,
детектирования и распознавания различных объектов в облаке точек.
Предметом исследования являются алгоритмы обработки данных с датчиков, а
объектом являются карты глубины, полученные непосредственно с помощью
датчиков.
Целью работы является разработка алгоритма автоматического
восстановления позы скелета руки на основе карт глубины. В работе
рассматриваются как алгоритмические способы решения поставленной задачи,
так и нейросетевые методы искусственного интеллекта. К области
практического применения данной разработки можно отнести реализацию
пользовательских интерфейсов для устройств виртуальной и дополненной
реальности, создание качественного человеко-компьютерного интерфейса, в
частности, для людей с ограниченными возможностями.

1.Скелетная анимация, прямая и инверсная кинематика [Электронный
ресурс] – Режим доступа: http://www.mir3d.ru/learning/974 (дата обращения:
10.12.2018).
2.Официальный сайт Node.js. // Платформа Node.js. [Электронный
ресурс]–Режимдоступа:https://nodejs.org/en/docs/(датаобращения:
17.12.2018).
3.James S. Supancic, Grégory Rogez, Yi Yang, Jamie Shotton, Deva
Ramanan. Depth-Based Hand Pose Estimation: Data, Methods, and Challenges.
ICCV 2015.
4.Iason Oikonomidis, Nikolaos Kyriazis, Antonis A. Argyros. Efficient
Model-based 3D Tracking of Hand Articulations using Kinect. BMVC 2011.
5.Hui Liang, Shunfeng Wang, Qian Sun, Yong-Jin Liu, Junsong Yuan, Jun
Luo, Ying He. Barehanded music: real-time hand interaction for virtual piano. I3D
2016.
6.Chi Xu, Li Cheng. Efficient Hand Pose Estimation from a Single Depth
Image. ICCV 2013.
7.Danhang Tang, Tsz-Ho Yu, Tae-Kyun Kim. Real-Time Articulated
Hand Pose Estimation Using Semi-supervised Transductive Regression Forests.
ICCV 2013.
8.Furkan Kıraç, Yunus Emre Kara, Lale Akarun. Hierarchically
constrained 3D hand pose estimation using regression forests from single frame depth
data. Pattern Recognition Letters 2014.
9.Alexander Toshev, Christian Szegedy. DeepPose: Human Pose
Estimation via Deep Neural Networks. CVPR 2014.
10. Xiao Sun, Yichen Wei, Shuang Liang, Xiaoou Tang, Jian Sun. Cascaded
hand pose regression. CVPR 2015.
11. Arjun Jain, Jonathan Tompson, Mykhaylo Andriluka, Graham W.
Taylor, Christoph Bregler. Learning Human Pose Estimation Features with
Convolutional Networks. ICLR 2014.
12. Jonathan Tompson, Ross Goroshin, Arjun Jain, Yann LeCun,
Christopher Bregler. Efficient Object Localization Using Convolutional Networks.
CVPR 2015.
13. Jonathan Tompson, Murphy Martin Stein, Yann Lecun, Ken Perlin. R
eal-Time Continuous Pose Recovery of Human Hands Using Convolutional
Networks. ACM Transactions on Graphics 2014.
14. Chen Qian, Xiao Sun, Yichen Wei, Xiaoou Tang, Jian Sun. Realtime and
Robust Hand Tracking from Depth. CVPR 2014.
15. OpenPose–системадляопределенияключевыхточек
человеческого тела, рук, ног и лиц [Электронный ресурс] – Режим доступа:
https://github.com/CMU-Perceptual-Computing-Lab/openpose(датаобращения:
04.03.2019).
16. Keras – открытая нейросетевая библиотека, написанная на языке
Python [Электронный ресурс] – Режим доступа: https://keras.io (дата обращения:
11.02.2019).
17. СанПиН2.2.2/2.4.1340-03.«Гигиеническиетребованияк
персональным электронно-вычислительным машинам и организации работы».
18. ГОСТ 12.0.003-74 (с измен. №1, октябрь 1978г., переиздание 1999
г.) «Классификация вредных и опасных производственных факторов».
19. Безопасность жизнедеятельности: Учебник для вузов /Под ред. К.З.
Ушакова. – М.: Изд-во Московского гос. горного университета, 2000.– 430 с.
20. СанПиН 2.2.4.548 – 96. «Гигиенические требования к микроклимату
производственных помещений».
21. СНиП 23-05-95. «Естественное и искусственное освещение».
22. СНиП 23-05-2010 «Нормы Коэффициента пульсации помещений
административных зданий».
23. СН 2.2.4/2.1.8.562-96 «Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории жилой, застройки».
24. ПОТ РО 29-002-94. «Правила по охране труда для издательств».
25. ГОСТ 12.1.009-76 «Электробезопасность. Термины и определения».
26. СНиП 21-01-97. «Пожарная безопасность зданий и сооружений».
27. НПБ 105-95. «Определение категорий помещений и зданий по
взрывопожарной и пожарной опасности».
28. ГОСТ Р 50739-95 «Средства вычислительной техники. Защита от
несанкционированного доступа к информации».
29. ГОСТ 30772-2001 «Ресурсосбережение. Обращение с отходами.
Термины и определения».
30. Федеральныйзаконот8августа2001г.№128-ФЗ«О
лицензировании отдельных видов деятельности».
31. ГОСТ Р 55090-2012 «Ресурсосбережение. Обращение с отходами.
Рекомендации по утилизации отходов бумаги».
32. ГОСТ 10700-97 «Макулатура бумажная и картонная. Технические
условия».
33. СанПиН2.2.4.1191-03.«Электромагнитныеполяв
производственных условиях».
34. ГОСТР56276-2014«Газыпарниковые.Углеродныйслед
продукции. Требованияи руководящие указания поколичественному
определению и предоставлению информации».
35. ГОСТ Р ИСО 14046-2017 «Экологический менеджмент. Водный
след. Принципы, требования и руководящие указания».

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Читать «Разработка алгоритма автоматического восстановления позы скелета руки на основе карт глубины»

    Последние выполненные заказы

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Лидия К.
    4.5 (330 отзывов)
    Образование высшее (2009 год) педагог-психолог (УрГПУ). В 2013 году получено образование магистр психологии. Опыт преподавательской деятельности в области психологии ... Читать все
    Образование высшее (2009 год) педагог-психолог (УрГПУ). В 2013 году получено образование магистр психологии. Опыт преподавательской деятельности в области психологии и педагогики. Написание диссертаций, ВКР, курсовых и иных видов работ.
    #Кандидатские #Магистерские
    592 Выполненных работы
    Анастасия Б.
    5 (145 отзывов)
    Опыт в написании студенческих работ (дипломные работы, магистерские диссертации, повышение уникальности текста, курсовые работы, научные статьи и т.д.) по экономическо... Читать все
    Опыт в написании студенческих работ (дипломные работы, магистерские диссертации, повышение уникальности текста, курсовые работы, научные статьи и т.д.) по экономическому и гуманитарному направлениях свыше 8 лет на различных площадках.
    #Кандидатские #Магистерские
    224 Выполненных работы
    Мария А. кандидат наук
    4.7 (18 отзывов)
    Мне нравится изучать все новое, постоянно развиваюсь. Могу написать и диссертацию и кандидатскую. Есть опыт в различных сфера деятельности (туризм, экономика, бухучет... Читать все
    Мне нравится изучать все новое, постоянно развиваюсь. Могу написать и диссертацию и кандидатскую. Есть опыт в различных сфера деятельности (туризм, экономика, бухучет, реклама, журналистика, педагогика, право)
    #Кандидатские #Магистерские
    39 Выполненных работ
    Мария М. УГНТУ 2017, ТФ, преподаватель
    5 (14 отзывов)
    Имею 3 высших образования в сфере Экологии и техносферной безопасности (бакалавриат, магистратура, аспирантура), работаю на кафедре экологии одного из опорных ВУЗов РФ... Читать все
    Имею 3 высших образования в сфере Экологии и техносферной безопасности (бакалавриат, магистратура, аспирантура), работаю на кафедре экологии одного из опорных ВУЗов РФ. Большой опыт в написании курсовых, дипломов, диссертаций.
    #Кандидатские #Магистерские
    27 Выполненных работ
    Дарья П. кандидат наук, доцент
    4.9 (20 отзывов)
    Профессиональный журналист, филолог со стажем более 10 лет. Имею профильную диссертацию по специализации "Радиовещание". Подробно и серьезно разрабатываю темы научных... Читать все
    Профессиональный журналист, филолог со стажем более 10 лет. Имею профильную диссертацию по специализации "Радиовещание". Подробно и серьезно разрабатываю темы научных исследований, связанных с журналистикой, филологией и литературой
    #Кандидатские #Магистерские
    33 Выполненных работы
    Яна К. ТюмГУ 2004, ГМУ, выпускник
    5 (8 отзывов)
    Помощь в написании магистерских диссертаций, курсовых, контрольных работ, рефератов, статей, повышение уникальности текста(ручной рерайт), качественно и в срок, в соот... Читать все
    Помощь в написании магистерских диссертаций, курсовых, контрольных работ, рефератов, статей, повышение уникальности текста(ручной рерайт), качественно и в срок, в соответствии с Вашими требованиями.
    #Кандидатские #Магистерские
    12 Выполненных работ
    Вики Р.
    5 (44 отзыва)
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написан... Читать все
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написание письменных работ для меня в удовольствие.Всегда качественно.
    #Кандидатские #Магистерские
    60 Выполненных работ
    Дарья Б. МГУ 2017, Журналистики, выпускник
    4.9 (35 отзывов)
    Привет! Меня зовут Даша, я окончила журфак МГУ с красным дипломом, защитила магистерскую диссертацию на филфаке. Работала журналистом, PR-менеджером в международных ко... Читать все
    Привет! Меня зовут Даша, я окончила журфак МГУ с красным дипломом, защитила магистерскую диссертацию на филфаке. Работала журналистом, PR-менеджером в международных компаниях, сейчас работаю редактором. Готова помогать вам с учёбой!
    #Кандидатские #Магистерские
    50 Выполненных работ
    Оксана М. Восточноукраинский национальный университет, студент 4 - ...
    4.9 (37 отзывов)
    Возможно выполнение работ по правоведению и политологии. Имею высшее образование менеджера ВЭД и правоведа, защитила кандидатскую и докторскую диссертации по политоло... Читать все
    Возможно выполнение работ по правоведению и политологии. Имею высшее образование менеджера ВЭД и правоведа, защитила кандидатскую и докторскую диссертации по политологии.
    #Кандидатские #Магистерские
    68 Выполненных работ

    Другие учебные работы по предмету