Распознавание жестов рук с помощью нейронной сети с архитектурой Mask-RCNN

Результатом данной работы обученная сеть Mask-RCNN, способная распознавать жесты рук. В ходе работы сконфигурирована нейронная сеть и собран набор данных. Также проведена оценка способности распознавать жесты, в зависимости от расстояния до камеры.

Введение 14
1 Обзор литературы 16
1.1 История изобретений, при помощи которых решалась данная
задача 16
1.2 Компания, которая занимается подобными решениями в
Томске: Rubius 19
1.3 Устройства, разрабатываемые в наше время 20
1.3.1 Распознавание жестов при помощи инфракрасных сенсоров
на основе Intel RealSense 20
1.3.2 Динамическое распознавание жестов по направленным
импульсным нейронным сетям 21
1.3.3 Распознавание жестов в реальном времени на основе сети
перекалибровки функций с многомасштабной информацией 22
1.3.4 Обработка и управление при помощи биомедицинских
сигналов 23
1.3.5 Система управления курсором мыши на основе жестов рук
человека 24
1.4 Анализ приведенных методов решения задачи распознавания
жестов 25
2 Исследование и анализ нейронной сети Mask-RCNN 27
2.1 Применение алгоритма решения изобретательской задачи
АРИЗ-61 27
2.2 Задачи компьютерного зрения 29
2.3 Описание архитектуры Mask-RCNN 30
2.3.1 Основа модели 30
2.3.2 Область интересов (RoI) 31
2.3.3 Region Proposal Network 32
2.3.4 Наложение маски 34
2.3.5 Feature Pyramid Networks 35
3 Подготовка нейронной сети Mask-RCNN для распознавания
жестов рук 37
3.1 Подготовка набора данных 37
3.2 Конфигурация Mask-RCNN 42
3.2.1 Выбор способа размещения обучающих и тестовых данных 42
3.2.2 Выбор backbone модели 44
3.2.3 Выбор параметра Learning Rate. 45
3.2.4 Выбор количества GPU 46
3.2.5 Выбор размера изображений 47
3.3 Итоги конфигурации Mask-RCNN 48
4 Оценка работы обученной нейронной сети на тестовой выборке 50
4.1 Зависимость точности распознавания жеста от расстояния
между камерой и самим жестом 53
4.2 Оценка распознавания нейронной сетью каждого жеста 57
4.3 Оценка способности распознавания жестов, скрытых за
преградой 59
5 Финансовый менеджмент, ресурсоэффективность и
ресурсосбережение 61
5.1 Оценка коммерческого потенциала и перспективности
проведения научных исследований с позиции
ресурсоэффективности и ресурсосбережения. 61
5.1.1 Потенциальные потребители результатов исследования 61
5.1.2 Анализ конкурентных технических решений 61
5.1.3 Морфологический анализ 64
5.2 Планирование научно-исследовательских работ 66
5.2.1 Структура работ в рамках научного исследования 66
5.2.2 Определение трудоемкости выполнения работ 67
5.2.3 Разработка графика проведения научного исследования 69
5.3.1 Расчет материальных затрат 71
5.3.2 Основная заработная плата исполнителям темы 72
5.3.3 Дополнительная заработная плата 74
5.3.4 Отчисления во внебюджетные фонды (страховые отчисления) 74
5.3.5 Накладные расходы 75
5.3.6 Формирование бюджета затрат научно-исследовательского
проекта 76
5.4 Определение ресурсной, финансовой и экономической
эффективности ресурсов 77
5.4.1 Оценка экономической эффективности проекта 77
5.4.2 Интегральный показатель ресурсоэффективности 77
6 Социальная ответственность 81
6.1 Правовые и организационные вопросы обеспечения
безопасности 81
6.2 Производственная безопасность 83
6.3 Анализ вредных производственных факторов 84
6.3.1 Отклонения показателей микроклимата 84
6.3.2 Превышение уровня шума 86
6.3.4 Вибрации 89
6.3.5 Психофизиологические факторы 90
6.3.6 Перенапряжение зрительных анализаторов 91
6.4.2 Статическое электричество 93
6.5 Экологическая безопасность 94
6.6 Безопасность в чрезвычайных ситуациях 95
Заключение к главе “Социальная ответственность” 97
Заключение 98
Список используемых источников литературы 99
Список научных публикаций студента 103
Приложение А (справочное) Раздел на иностранном языке 104

В ходе выполнения работы над разделом “Социальная ответственность”
были выявлены опасные и вредные факторы, воздействию которых может
подвергнуться человек, использующий Mask-RCNN для распознавания жестов
рук.
Был проведён анализ нормативной документации. В целом, рабочее
место удовлетворяет требованиям безопасности.
Освещение на рабочем месте соответствует нормам – используется
несколько энергосберегающих ламп.
Уровни шума находятся в допустимых пределах – источником шума при
эксплуатации ПК могут являться системы охлаждения, а также жесткий диск,
однако уровень создаваемого ими шума невысок.
Микроклиматические условия соблюдаются за счет использования
систем отопления и кондиционирования.
Защита от повреждений электроники статическим электричеством не
обеспечивается, однако так как корпус ПК закрыт, вероятность поражения
элементов или работника минимальна (если не прикасаться мокрыми руками к
корпусу).
Во время работы делаются перерывы для снижения нагрузки и
предотвращения нервно-психических перегрузок.
Помещение оборудовано согласно требованиям электробезопасности.
В случае выхода из строев используемой электроники или ламп, отходы
передаются в соответствующие компании.
Рабочее помещение оборудовано в соответствии с требованиями
пожарной безопасности. Имеется порошковый огнетушитель и пожарная
сигнализация.
Заключение
Результатом данной выпускной квалификационной работы магистра
является обученная нейронная сеть Mask-RCNN для решения задачи
распознавания жестов рук. Была проанализирована работа нейронной сети на
синтезированном и реальном наборе данных.
В процессе разработки было выполнено следующее:
– изучена структура нейронной сети Mask-RCNN;
– собран обучающий набор данных в размере 300 изображений для
обучения, поделенный на 5 класса: “Кисть”, “Победа”, “Кулак”,
“Большой палец” и “Телефон”;
– получены навыки работы с библиотеками TensorFlow, PIL, OpenCV и
Keras;
– получены навыки обучения нейронных сетей;
В результате работы обучена свёрточная нейронная сеть, распознающая
жесты с точностью 90 %. Этой точности не всегда достаточно для успешного
распознавания, из-за того, что нейронная сеть путает жесты из-за общей
схожести. В дальнейшем планируется увеличить выборку данных для
повышения точности работы нейронной сети.
Также в ходе работы была исследована зависимость наиболее
успешного распознавания жеста в зависимости от расстояния до камеры.
Экспериментальным путем было установлено, что наиболее высокую точность
можно получить при расположении жеста на расстоянии 60 сантиметров от
камеры. При таком расположении, общая точность стремится к значению 90%.
Помимо этого, исследована работа нейронной сети на способность
распознавания каждого жеста. Наименее точно Mask-RCNN распознает жесты
Fist и Big Finger из-за их общей схожести. Остальные жесты имеют вероятность
распознавания выше 83%.