Нейросетевые алгоритмы распознавания эмоционального состояния человека по изображениям его лица

Целью работы является повышение эффективности обработки информации и принятия решений при человеко-компьютерном взаимодействии за счёт автоматизации определения эмоциональных реакций по изображению лица. Для реализации распознавания эмоционального состояния используются нейросетевые методы искусственного интеллекта.

ВВЕДЕНИЕ …………………………………………………………………………………………………. 12
1 АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ …………………………………………………….. 14
1.1 Описание предметной области………………………………………………………….. 14
1.2 Обзор существующих алгоритмов, применяемых для распознавания
эмоций ……………………………………………………………………………………………………… 15
1.2.1 GoogLeNet ………………………………………………………………………………….. 15
1.2.2 Happy and Routray алгоритм………………………………………………………… 16
1.2.3 Byeon and Kwak алгоритм …………………………………………………………… 16
1.2.4 Song алгоритм …………………………………………………………………………….. 16
1.2.5 Luecy алгоритм …………………………………………………………………………… 16
1.2.6 Anderson алгоритм………………………………………………………………………. 17
1.2.7 Kotsia и Pitas алгоритм ………………………………………………………………… 17
1.2.8 Shan алгоритм …………………………………………………………………………….. 17
1.2.9 Zafar алгоритм ……………………………………………………………………………. 18
1.3 Теоретические основы ……………………………………………………………………… 18
1.3.1 Свертка блоком 1 х 1…………………………………………………………………… 18
1.3.2 LRN ……………………………………………………………………………………………. 19
1.3.3 ReLU ………………………………………………………………………………………….. 20
1.3.4 10-кратная перекрестная проверка ………………………………………………. 20
1.3.5 SVM …………………………………………………………………………………………… 21
1.3.6 Латентное размещение Дирихле (LDA) ……………………………………….. 21
1.3.7 Сверточные нейронные сети ……………………………………………………….. 22
2 РАЗРАБОТКА АЛГОРИТМА РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОГО
СОСТОЯНИЯ ЧЕЛОВЕКА ………………………………………………………………………….. 25
2.1 Архитектура разработанной модели …………………………………………………. 25
2.2 Используемые наборы данных ………………………………………………………….. 30
2.2.1 Набор данных MMI …………………………………………………………………….. 30
2.2.2 Набор данных CKP ……………………………………………………………………… 31
2.3 Обучение модели ……………………………………………………………………………… 32
3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ………………………………………………………….. 33
3.1 Использованные технологии …………………………………………………………….. 33
3.1.1 Keras …………………………………………………………………………………………… 33
3.1.2 OpenCV ………………………………………………………………………………………. 34
3.1.3 TensorFlow………………………………………………………………………………….. 34
3.1.4 Dlib …………………………………………………………………………………………….. 34
3.2 Описание функционала реализованного алгоритма …………………………… 35
3.3 Эксперименты и результаты……………………………………………………………… 36
4 РЕЗУЛЬТАТЫ РАБОТЫ ……………………………………………………………………….. 40
5 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ…………………………………………………………………………….. 43
5.1 Потенциальные потребители результатов исследования ……………………. 45
5.2 Сегментирование рынка …………………………………………………………………… 46
5.3 Оценка конкурентоспособности технических решений …………………….. 46
5.4 FAST-анализ …………………………………………………………………………………….. 47
5.4.1 Выбор объекта FAST-анализа ……………………………………………………… 48
5.4.2 Описание главной, основных и вспомогательных функций,
выполняемых объектом ………………………………………………………………………….. 48
5.4.3 Определение значимости выполняемых функций объектом ………… 48
5.4.4 Анализ стоимости функций выполняемых объектом исследования 50
5.4.5 Построение функционально-стоимостной диаграммы объекта и её
анализ …………………………………………………………………………………………………… 51
5.4.6 Оптимизация функций выполняемых объектом …………………………… 51
5.5 SWOT-анализ …………………………………………………………………………………… 52
5.6 Оценка готовности проекта к коммерциализации ……………………………… 54
5.7 Методы коммерциализации результатов научно-технического
исследования ……………………………………………………………………………………………. 55
5.8 Инициация проекта ………………………………………………………………………….. 56
5.8.1 Цели и результат проекта ……………………………………………………………. 56
5.8.2 Организационная структура проекта …………………………………………… 58
5.8.3 Ограничения и допущения проекта……………………………………………… 58
5.9 Планирование управления научно-техническим проектом ………………… 59
5.9.1 График проведения и бюджет НТИ……………………………………………… 59
5.10 Бюджет НТИ …………………………………………………………………………………. 62
5.11 Реестр рисков проекта ……………………………………………………………………. 68
5.12 Оценка ресурсной, финансовой и экономической эффективности НТИ
……………………………………………………………………………………………………… 69
6 СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ …………………………………………………. 74
6.1 Производственная безопасность ……………………………………………………….. 76
6.1.1 Анализ выявленных вредных факторов при разработке и
эксплуатации проектируемого решения………………………………………………….. 77
6.1.2 Анализ выявленных опасных факторов при разработке и
эксплуатации проектируемого решения………………………………………………….. 85
6.2 Экологическая безопасность …………………………………………………………….. 87
6.2.1 Анализ влияния процесса исследования на окружающую среду ….. 87
6.2.2 Обоснование мероприятий по защите окружающей среды…………… 87
6.3 Защита в чрезвычайных ситуациях …………………………………………………… 88
6.3.1 Анализ вероятных ЧС, которые могут возникнуть на рабочем месте
при проведении исследований………………………………………………………………… 88
6.3.2 Обоснование мероприятий по предотвращению ЧС и разработка
порядка действия в случае возникновения ЧС ………………………………………… 89
6.4 Правовые и организационные вопросы обеспечения безопасности ……. 90
6.4.1 Специальные правовые нормы трудового законодательства ………… 90
6.4.2 Организационные мероприятия при компоновке рабочей зоны
исследователя ………………………………………………………………………………………… 92
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 95
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ……………………………………….. 96
ПРИЛОЖЕНИЕ А (справочное) …………………………………………………………………. 100
ПРИЛОЖЕНИЕ Б CD-ДИСК ……………………………………………………………………… 108

1.J. Donahue, Y. Jia, O. Vinyals, J. Hoffman, N. Zhang, E. Tzeng, and
T.Darrell, “Decaf: A deep convolutional activation feature for generic visual
recognition,” arXiv preprint arXiv:1310.1531, 2013.
2.GoogLeNet[Электронныйресурс].–Режимдоступа:
https://ai.google/research/pubs/pub43022 (дата обращения: 06.05.2019).
3.S. Happy and A. Routray, “Automatic facial expression recognition
using features of salient facial patches,” Affective Computing, IEEE Transactions on,
vol. 6, no. 1, pp. 1–12, Jan 2015.
4.Y.-H. Byeon and K.-C. Kwak, “Facial expression recognition using
3d convolutional neural network.”
5.I. Song, H.-J. Kim, and P. B. Jeon, “Deep learning for realtime robust
facial expression recognition on a smartphone,” in Consumer Electronics (ICCE),
2014 IEEE International Conference on. IEEE, 2014, pp. 564–567.
6.P. Lucey, J. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews,
“The extended cohn-kanade dataset (ck+): A complete dataset for action unit and
emotion-specified expression,” in Computer Vision and Pattern Recognition
Workshops (CVPRW), 2010 IEEE Computer Society Conference on, June 2010, pp.
94–101.
7.K. Anderson and P. W. Mcowan, “A real-time automated system for
recognition of human facial expressions,” IEEE Trans. Syst., Man, Cybern. B,
Cybern, pp. 96–105, 2006.
8.I. Kotsia and I. Pitas, “Facial expression recognition in image sequences
using geometric deformation features and support vector machines,” Image
Processing, IEEE Transactions on, vol. 16, no. 1, pp. 172–187, Jan 2007.
9.C. Shan, S. Gong, and P. W. McOwan, “Facial expression recognition
based on local binary patterns: A comprehensive study,” Image and Vision
Computing, vol. 27, no. 6, pp. 803 – 816, 2009.
10. A. Zafer, R. Nawaz, and J. Iqbal, “Face recognition with expression
variation via robust ncc,” in Emerging Technologies (ICET), 2013 IEEE 9th
International Conference on, Dec 2013, pp. 1–5.
11. Review: GoogLeNet (Inception v1)— Winner of ILSVRC 2014 (Image
Classification),[Электронныйресурс].–Режимдоступа:
https://medium.com/coinmonks/paper-review-of-googlenet-inception-v1-winner-of-
ilsvlc-2014-image-classification-c2b3565a64e7 (дата обращения: 06.05.2019).
12. Latent Dirichlet Allocation, [Электронный ресурс]. – Режим доступа:
http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf(датаобращения:
08.05.2019).
13. CNN,[Электронныйресурс].–Режимдоступа:
https://www.machinecurve.com/index.php/2018/12/07/convolutional-neural-
networks-and-their-components-for-computer-vision/(дата обращения: 12.05.2019).
14. M. Pantic, M. F. Valstar, R. Rademaker, and L. Maat, “Webbased
database for facial expression analysis,” in Proceedings of IEEE Int’l Conf.
Multimedia and Expo (ICME’05), Amsterdam, The Netherlands, July 2005, pp. 317–
321.
15. Cohn-Kanade AU-Coded Expression Database, [Электронный ресурс].
–Режимдоступа:http://www.pitt.edu/~emotion/ck-spread.htmSdf(дата
обращения: 14.05.2019).
16. Keras:[Электронныйресурс]/Kerasdocumentation.URL:
https://keras.io/ (Дата обращения: 15.05.2019).
17. OpenCV: [Электронный ресурс] – URL: https://opencv.org/ (Дата
обращения: 15.05.2019).
18. Tensorflow:[Электронныйресурс]–URL:
https://www.tensorflow.org/ (Дата обращения: 15.05.2019).
19. Dlib: [Электронный ресурс] – URL: http://dlib.net/ (Дата обращения:
15.05.2019).
20. J. Wang and L. Yin, “Static topographic modeling for facial expression
recognition and analysis,” Comput. Vis. Image Underst. , vol. 108, no. 1-2, pp. 19–
34, Oct. 2007.
21. СанПиН2.2.2/2.4.1340-03.«Гигиеническиетребованияк
персональным электронно-вычислительным машинам и организации работы».
22. ГОСТ 12.0.003-74 (с измен. №1, октябрь 1978г., переиздание 1999
г.) «Классификация вредных и опасных производственных факторов».
23. Безопасность жизнедеятельности: Учебник для вузов /Под ред. К.З.
Ушакова. – М.: Изд-во Московского гос. горного университета, 2000.– 430 с.
24. СанПиН 2.2.4.548 – 96. «Гигиенические требования к микроклимату
производственных помещений»
25. СНиП 23-05-95. «Естественное и искусственное освещение».
26. СНиП 23-05-2010 «Нормы Коэффициента пульсации помещений
административных зданий».
27. СН 2.2.4/2.1.8.562-96 «Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории жилой, застройки».
28. ПОТ РО 29-002-94. «Правила по охране труда для издательств».
29. СанПиН2.2.4.1191-03.«Электромагнитныеполяв
производственных условиях».
30. ГОСТ 12.1.009-76 «Электробезопасность. Термины и определения».
31. СНиП 21-01-97. «Пожарная безопасность зданий и сооружений».
32. НПБ 105-95. «Определение категорий помещений и зданий по
взрывопожарной и пожарной опасности».
33. ГОСТ Р 50739-95 «Средства вычислительной техники. Защита от
несанкционированного доступа к информации».
34. ГОСТ 30772-2001 «Ресурсосбережение. Обращение с отходами.
Термины и определения».
35. Федеральныйзаконот8августа2001г.№128-ФЗ«О
лицензировании отдельных видов деятельности».
36. ГОСТ 12.2.032-78 «ССБТ. Рабочее место при выполнении работ
сидя. Общие эргономические требования».
37. ГОСТ 12.2.061-81 «ССБТ. Оборудование производственное. Общие
требования безопасности к рабочим местам».
38. Приказ Минздравсоцразвития РФ от 16.05.2005 N 83 («Об
утверждении перечней вредных и (или) опасных производственных факторов и
работ, при выполнении которых проводятся предварительные и периодические
медицинские осмотры (обследования), и Порядка проведения этих осмотров
(обследований)».
39. ТК РФ, Статья 147. Оплата труда работников, занятых на работах с
вредными и (или) опасными условиями труда.
40. ТК РФ, Статья 372. Порядок учета мнения выборного органа
первичной профсоюзной организации при принятии локальных нормативных
актов.
41. ГОСТ Р 55090-2012 «Ресурсосбережение. Обращение с отходами.
Рекомендации по утилизации отходов бумаги».
42. ГОСТ 10700-97 «Макулатура бумажная и картонная. Технические
условия».
43. ГОСТР56276-2014«Газыпарниковые.Углеродныйслед
продукции.Требованияи руководящие указания поколичественному
определению и предоставлению информации».
44. ГОСТ Р ИСО 14046-2017 «Экологический менеджмент. Водный
след. Принципы, требования и руководящие указания».