Нейросетевые алгоритмы распознавания эмоционального состояния человека по изображениям его лица

Кузнецова, Анастасия Сергеевна Отделение информационных технологий (ОИТ)
Бесплатно
В избранное
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Целью работы является повышение эффективности обработки информации и принятия решений при человеко-компьютерном взаимодействии за счёт автоматизации определения эмоциональных реакций по изображению лица. Для реализации распознавания эмоционального состояния используются нейросетевые методы искусственного интеллекта.

ВВЕДЕНИЕ …………………………………………………………………………………………………. 12
1 АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ …………………………………………………….. 14
1.1 Описание предметной области………………………………………………………….. 14
1.2 Обзор существующих алгоритмов, применяемых для распознавания
эмоций ……………………………………………………………………………………………………… 15
1.2.1 GoogLeNet ………………………………………………………………………………….. 15
1.2.2 Happy and Routray алгоритм………………………………………………………… 16
1.2.3 Byeon and Kwak алгоритм …………………………………………………………… 16
1.2.4 Song алгоритм …………………………………………………………………………….. 16
1.2.5 Luecy алгоритм …………………………………………………………………………… 16
1.2.6 Anderson алгоритм………………………………………………………………………. 17
1.2.7 Kotsia и Pitas алгоритм ………………………………………………………………… 17
1.2.8 Shan алгоритм …………………………………………………………………………….. 17
1.2.9 Zafar алгоритм ……………………………………………………………………………. 18
1.3 Теоретические основы ……………………………………………………………………… 18
1.3.1 Свертка блоком 1 х 1…………………………………………………………………… 18
1.3.2 LRN ……………………………………………………………………………………………. 19
1.3.3 ReLU ………………………………………………………………………………………….. 20
1.3.4 10-кратная перекрестная проверка ………………………………………………. 20
1.3.5 SVM …………………………………………………………………………………………… 21
1.3.6 Латентное размещение Дирихле (LDA) ……………………………………….. 21
1.3.7 Сверточные нейронные сети ……………………………………………………….. 22
2 РАЗРАБОТКА АЛГОРИТМА РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОГО
СОСТОЯНИЯ ЧЕЛОВЕКА ………………………………………………………………………….. 25
2.1 Архитектура разработанной модели …………………………………………………. 25
2.2 Используемые наборы данных ………………………………………………………….. 30
2.2.1 Набор данных MMI …………………………………………………………………….. 30
2.2.2 Набор данных CKP ……………………………………………………………………… 31
2.3 Обучение модели ……………………………………………………………………………… 32
3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ………………………………………………………….. 33
3.1 Использованные технологии …………………………………………………………….. 33
3.1.1 Keras …………………………………………………………………………………………… 33
3.1.2 OpenCV ………………………………………………………………………………………. 34
3.1.3 TensorFlow………………………………………………………………………………….. 34
3.1.4 Dlib …………………………………………………………………………………………….. 34
3.2 Описание функционала реализованного алгоритма …………………………… 35
3.3 Эксперименты и результаты……………………………………………………………… 36
4 РЕЗУЛЬТАТЫ РАБОТЫ ……………………………………………………………………….. 40
5 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ…………………………………………………………………………….. 43
5.1 Потенциальные потребители результатов исследования ……………………. 45
5.2 Сегментирование рынка …………………………………………………………………… 46
5.3 Оценка конкурентоспособности технических решений …………………….. 46
5.4 FAST-анализ …………………………………………………………………………………….. 47
5.4.1 Выбор объекта FAST-анализа ……………………………………………………… 48
5.4.2 Описание главной, основных и вспомогательных функций,
выполняемых объектом ………………………………………………………………………….. 48
5.4.3 Определение значимости выполняемых функций объектом ………… 48
5.4.4 Анализ стоимости функций выполняемых объектом исследования 50
5.4.5 Построение функционально-стоимостной диаграммы объекта и её
анализ …………………………………………………………………………………………………… 51
5.4.6 Оптимизация функций выполняемых объектом …………………………… 51
5.5 SWOT-анализ …………………………………………………………………………………… 52
5.6 Оценка готовности проекта к коммерциализации ……………………………… 54
5.7 Методы коммерциализации результатов научно-технического
исследования ……………………………………………………………………………………………. 55
5.8 Инициация проекта ………………………………………………………………………….. 56
5.8.1 Цели и результат проекта ……………………………………………………………. 56
5.8.2 Организационная структура проекта …………………………………………… 58
5.8.3 Ограничения и допущения проекта……………………………………………… 58
5.9 Планирование управления научно-техническим проектом ………………… 59
5.9.1 График проведения и бюджет НТИ……………………………………………… 59
5.10 Бюджет НТИ …………………………………………………………………………………. 62
5.11 Реестр рисков проекта ……………………………………………………………………. 68
5.12 Оценка ресурсной, финансовой и экономической эффективности НТИ
……………………………………………………………………………………………………… 69
6 СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ …………………………………………………. 74
6.1 Производственная безопасность ……………………………………………………….. 76
6.1.1 Анализ выявленных вредных факторов при разработке и
эксплуатации проектируемого решения………………………………………………….. 77
6.1.2 Анализ выявленных опасных факторов при разработке и
эксплуатации проектируемого решения………………………………………………….. 85
6.2 Экологическая безопасность …………………………………………………………….. 87
6.2.1 Анализ влияния процесса исследования на окружающую среду ….. 87
6.2.2 Обоснование мероприятий по защите окружающей среды…………… 87
6.3 Защита в чрезвычайных ситуациях …………………………………………………… 88
6.3.1 Анализ вероятных ЧС, которые могут возникнуть на рабочем месте
при проведении исследований………………………………………………………………… 88
6.3.2 Обоснование мероприятий по предотвращению ЧС и разработка
порядка действия в случае возникновения ЧС ………………………………………… 89
6.4 Правовые и организационные вопросы обеспечения безопасности ……. 90
6.4.1 Специальные правовые нормы трудового законодательства ………… 90
6.4.2 Организационные мероприятия при компоновке рабочей зоны
исследователя ………………………………………………………………………………………… 92
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 95
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ……………………………………….. 96
ПРИЛОЖЕНИЕ А (справочное) …………………………………………………………………. 100
ПРИЛОЖЕНИЕ Б CD-ДИСК ……………………………………………………………………… 108

В последние годы распознавание эмоций стало становиться популярным
не только в методах и специфике психологии и социологии.
С учетом всемирной и всепоглощающей идеи об искусственном
интеллекте ученые и программисты всего мира пришли к консенсусу
необходимости достаточно точного определения эмоций с помощью
программных средств.
Распознавание номеров у машин уже вошло в обиход и активно
используется правоохранительными органами, детектирование лиц с помощью
программ и компьютера уже давно не новинка, так как во многих крупных
компаниях стоит система безопасного входа по идентификации сотрудника
посредством фотографий.
Но один из самых важных прорывов в сфере безопасности был совершен
при введении на особо важные объекты камер с распознаванием
отрицательных, враждебно настроенных эмоций, которые помогут вычислить
преступника, грабителя или террориста. К тому же, распознавание эмоций
может быть применено в робототехнике. Робот может правильно реагировать
на состояние человека, при этом сделав взаимодействие человека с роботом
более естественным и интеллектуальным.
Особенно актуально правильно определить эмоциональное состояние
человека в ситуациях, которые могут быть опасны для жизни. В частности,
некоторые современные автомобили содержат систему определения усталости
водителя. Такого рода системы позволяют в некоторых случаях избежать
аварий, вызванных плохим самочувствием водителя, его невнимательностью
или сонливостью. Анализ осуществляется на основе результатов обработки
изображений лица человека, полученных с видеокамеры.
Исходя из этого, видно, что данное направление не стоит на месте и
успешно развивается. На данный момент значительную нишу в этом научном
направлении занимает машинное обучение, в частности нейронные сети. В
связи с вышеизложенным, высокую степень актуальности имеет задача
разработки нейросетевого алгоритма распознавания эмоционального состояния
человека по изображениям его лица.
Объектом данного исследования являются подходы и методы
распознавания мимических выражений лица. Предметом исследования
являются модели сверточных нейронных сетей для распознавания эмоций.
Целью работы является разработка нейросетевого алгоритма для
определения эмоционального состояния человека по изображению его лица.
Для достижения цели работы необходимо решить следующие задачи:
 осуществить обзор предметной области, определить степень
проработанности задачи;
 изучить и исследовать нейронные сети в области детектирования
экспрессий и в области распознавания в целом;
 на основе изученного материала предложить собственный алгоритм
распознавания эмоционального состояния человека;
 выполнить реализацию предложенного алгоритма;
 выделить проблемы данной научной области, оценить
практическую применимость разработанного алгоритма и обозначить
перспективы развития предложенного алгоритма.

1.J. Donahue, Y. Jia, O. Vinyals, J. Hoffman, N. Zhang, E. Tzeng, and
T.Darrell, “Decaf: A deep convolutional activation feature for generic visual
recognition,” arXiv preprint arXiv:1310.1531, 2013.
2.GoogLeNet[Электронныйресурс].–Режимдоступа:
https://ai.google/research/pubs/pub43022 (дата обращения: 06.05.2019).
3.S. Happy and A. Routray, “Automatic facial expression recognition
using features of salient facial patches,” Affective Computing, IEEE Transactions on,
vol. 6, no. 1, pp. 1–12, Jan 2015.
4.Y.-H. Byeon and K.-C. Kwak, “Facial expression recognition using
3d convolutional neural network.”
5.I. Song, H.-J. Kim, and P. B. Jeon, “Deep learning for realtime robust
facial expression recognition on a smartphone,” in Consumer Electronics (ICCE),
2014 IEEE International Conference on. IEEE, 2014, pp. 564–567.
6.P. Lucey, J. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews,
“The extended cohn-kanade dataset (ck+): A complete dataset for action unit and
emotion-specified expression,” in Computer Vision and Pattern Recognition
Workshops (CVPRW), 2010 IEEE Computer Society Conference on, June 2010, pp.
94–101.
7.K. Anderson and P. W. Mcowan, “A real-time automated system for
recognition of human facial expressions,” IEEE Trans. Syst., Man, Cybern. B,
Cybern, pp. 96–105, 2006.
8.I. Kotsia and I. Pitas, “Facial expression recognition in image sequences
using geometric deformation features and support vector machines,” Image
Processing, IEEE Transactions on, vol. 16, no. 1, pp. 172–187, Jan 2007.
9.C. Shan, S. Gong, and P. W. McOwan, “Facial expression recognition
based on local binary patterns: A comprehensive study,” Image and Vision
Computing, vol. 27, no. 6, pp. 803 – 816, 2009.
10. A. Zafer, R. Nawaz, and J. Iqbal, “Face recognition with expression
variation via robust ncc,” in Emerging Technologies (ICET), 2013 IEEE 9th
International Conference on, Dec 2013, pp. 1–5.
11. Review: GoogLeNet (Inception v1)— Winner of ILSVRC 2014 (Image
Classification),[Электронныйресурс].–Режимдоступа:
https://medium.com/coinmonks/paper-review-of-googlenet-inception-v1-winner-of-
ilsvlc-2014-image-classification-c2b3565a64e7 (дата обращения: 06.05.2019).
12. Latent Dirichlet Allocation, [Электронный ресурс]. – Режим доступа:
http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf(датаобращения:
08.05.2019).
13. CNN,[Электронныйресурс].–Режимдоступа:
https://www.machinecurve.com/index.php/2018/12/07/convolutional-neural-
networks-and-their-components-for-computer-vision/(дата обращения: 12.05.2019).
14. M. Pantic, M. F. Valstar, R. Rademaker, and L. Maat, “Webbased
database for facial expression analysis,” in Proceedings of IEEE Int’l Conf.
Multimedia and Expo (ICME’05), Amsterdam, The Netherlands, July 2005, pp. 317–
321.
15. Cohn-Kanade AU-Coded Expression Database, [Электронный ресурс].
–Режимдоступа:http://www.pitt.edu/~emotion/ck-spread.htmSdf(дата
обращения: 14.05.2019).
16. Keras:[Электронныйресурс]/Kerasdocumentation.URL:
https://keras.io/ (Дата обращения: 15.05.2019).
17. OpenCV: [Электронный ресурс] – URL: https://opencv.org/ (Дата
обращения: 15.05.2019).
18. Tensorflow:[Электронныйресурс]–URL:
https://www.tensorflow.org/ (Дата обращения: 15.05.2019).
19. Dlib: [Электронный ресурс] – URL: http://dlib.net/ (Дата обращения:
15.05.2019).
20. J. Wang and L. Yin, “Static topographic modeling for facial expression
recognition and analysis,” Comput. Vis. Image Underst. , vol. 108, no. 1-2, pp. 19–
34, Oct. 2007.
21. СанПиН2.2.2/2.4.1340-03.«Гигиеническиетребованияк
персональным электронно-вычислительным машинам и организации работы».
22. ГОСТ 12.0.003-74 (с измен. №1, октябрь 1978г., переиздание 1999
г.) «Классификация вредных и опасных производственных факторов».
23. Безопасность жизнедеятельности: Учебник для вузов /Под ред. К.З.
Ушакова. – М.: Изд-во Московского гос. горного университета, 2000.– 430 с.
24. СанПиН 2.2.4.548 – 96. «Гигиенические требования к микроклимату
производственных помещений»
25. СНиП 23-05-95. «Естественное и искусственное освещение».
26. СНиП 23-05-2010 «Нормы Коэффициента пульсации помещений
административных зданий».
27. СН 2.2.4/2.1.8.562-96 «Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории жилой, застройки».
28. ПОТ РО 29-002-94. «Правила по охране труда для издательств».
29. СанПиН2.2.4.1191-03.«Электромагнитныеполяв
производственных условиях».
30. ГОСТ 12.1.009-76 «Электробезопасность. Термины и определения».
31. СНиП 21-01-97. «Пожарная безопасность зданий и сооружений».
32. НПБ 105-95. «Определение категорий помещений и зданий по
взрывопожарной и пожарной опасности».
33. ГОСТ Р 50739-95 «Средства вычислительной техники. Защита от
несанкционированного доступа к информации».
34. ГОСТ 30772-2001 «Ресурсосбережение. Обращение с отходами.
Термины и определения».
35. Федеральныйзаконот8августа2001г.№128-ФЗ«О
лицензировании отдельных видов деятельности».
36. ГОСТ 12.2.032-78 «ССБТ. Рабочее место при выполнении работ
сидя. Общие эргономические требования».
37. ГОСТ 12.2.061-81 «ССБТ. Оборудование производственное. Общие
требования безопасности к рабочим местам».
38. Приказ Минздравсоцразвития РФ от 16.05.2005 N 83 («Об
утверждении перечней вредных и (или) опасных производственных факторов и
работ, при выполнении которых проводятся предварительные и периодические
медицинские осмотры (обследования), и Порядка проведения этих осмотров
(обследований)».
39. ТК РФ, Статья 147. Оплата труда работников, занятых на работах с
вредными и (или) опасными условиями труда.
40. ТК РФ, Статья 372. Порядок учета мнения выборного органа
первичной профсоюзной организации при принятии локальных нормативных
актов.
41. ГОСТ Р 55090-2012 «Ресурсосбережение. Обращение с отходами.
Рекомендации по утилизации отходов бумаги».
42. ГОСТ 10700-97 «Макулатура бумажная и картонная. Технические
условия».
43. ГОСТР56276-2014«Газыпарниковые.Углеродныйслед
продукции.Требованияи руководящие указания поколичественному
определению и предоставлению информации».
44. ГОСТ Р ИСО 14046-2017 «Экологический менеджмент. Водный
след. Принципы, требования и руководящие указания».

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Мария А. кандидат наук
    4.7 (18 отзывов)
    Мне нравится изучать все новое, постоянно развиваюсь. Могу написать и диссертацию и кандидатскую. Есть опыт в различных сфера деятельности (туризм, экономика, бухучет... Читать все
    Мне нравится изучать все новое, постоянно развиваюсь. Могу написать и диссертацию и кандидатскую. Есть опыт в различных сфера деятельности (туризм, экономика, бухучет, реклама, журналистика, педагогика, право)
    #Кандидатские #Магистерские
    39 Выполненных работ
    Сергей Н.
    4.8 (40 отзывов)
    Практический стаж работы в финансово - банковской сфере составил более 30 лет. За последние 13 лет, мной написано 7 диссертаций и более 450 дипломных работ и научных с... Читать все
    Практический стаж работы в финансово - банковской сфере составил более 30 лет. За последние 13 лет, мной написано 7 диссертаций и более 450 дипломных работ и научных статей в области экономики.
    #Кандидатские #Магистерские
    56 Выполненных работ
    Сергей Е. МГУ 2012, физический, выпускник, кандидат наук
    4.9 (5 отзывов)
    Имеется большой опыт написания творческих работ на различных порталах от эссе до кандидатских диссертаций, решения задач и выполнения лабораторных работ по любым напра... Читать все
    Имеется большой опыт написания творческих работ на различных порталах от эссе до кандидатских диссертаций, решения задач и выполнения лабораторных работ по любым направлениям физики, математики, химии и других естественных наук.
    #Кандидатские #Магистерские
    5 Выполненных работ
    Антон П. преподаватель, доцент
    4.8 (1033 отзыва)
    Занимаюсь написанием студенческих работ (дипломные работы, маг. диссертации). Участник международных конференций (экономика/менеджмент/юриспруденция). Постоянно публик... Читать все
    Занимаюсь написанием студенческих работ (дипломные работы, маг. диссертации). Участник международных конференций (экономика/менеджмент/юриспруденция). Постоянно публикуюсь, имею высокий индекс цитирования. Спикер.
    #Кандидатские #Магистерские
    1386 Выполненных работ
    Катерина М. кандидат наук, доцент
    4.9 (522 отзыва)
    Кандидат технических наук. Специализируюсь на выполнении работ по метрологии и стандартизации
    Кандидат технических наук. Специализируюсь на выполнении работ по метрологии и стандартизации
    #Кандидатские #Магистерские
    836 Выполненных работ
    Егор В. кандидат наук, доцент
    5 (428 отзывов)
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Ск... Читать все
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Скорее всего Ваш заказ будет выполнен раньше срока.
    #Кандидатские #Магистерские
    694 Выполненных работы
    Мария Б. преподаватель, кандидат наук
    5 (22 отзыва)
    Окончила специалитет по направлению "Прикладная информатика в экономике", магистратуру по направлению "Торговое дело". Защитила кандидатскую диссертацию по специальнос... Читать все
    Окончила специалитет по направлению "Прикладная информатика в экономике", магистратуру по направлению "Торговое дело". Защитила кандидатскую диссертацию по специальности "Экономика и управление народным хозяйством". Автор научных статей.
    #Кандидатские #Магистерские
    37 Выполненных работ
    Елена Л. РЭУ им. Г. В. Плеханова 2009, Управления и коммерции, пре...
    4.8 (211 отзывов)
    Работа пишется на основе учебников и научных статей, диссертаций, данных официальной статистики. Все источники актуальные за последние 3-5 лет.Активно и уместно исполь... Читать все
    Работа пишется на основе учебников и научных статей, диссертаций, данных официальной статистики. Все источники актуальные за последние 3-5 лет.Активно и уместно использую в работе графический материал (графики рисунки, диаграммы) и таблицы.
    #Кандидатские #Магистерские
    362 Выполненных работы
    Анна К. ТГПУ им.ЛН.Толстого 2010, ФИСиГН, выпускник
    4.6 (30 отзывов)
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помог... Читать все
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помогала студентам, вышедшим на меня по рекомендации.
    #Кандидатские #Магистерские
    37 Выполненных работ

    Другие учебные работы по предмету