+7 (800) 505-67-97

Нейросетевые алгоритмы распознавания эмоционального состояния человека по изображениям его лица

Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0
Кузнецова, Анастасия Сергеевна Отделение информационных технологий (ОИТ)
Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Целью работы является повышение эффективности обработки информации и принятия решений при человеко-компьютерном взаимодействии за счёт автоматизации определения эмоциональных реакций по изображению лица. Для реализации распознавания эмоционального состояния используются нейросетевые методы искусственного интеллекта.

ВВЕДЕНИЕ …………………………………………………………………………………………………. 12
1 АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ …………………………………………………….. 14
1.1 Описание предметной области………………………………………………………….. 14
1.2 Обзор существующих алгоритмов, применяемых для распознавания
эмоций ……………………………………………………………………………………………………… 15
1.2.1 GoogLeNet ………………………………………………………………………………….. 15
1.2.2 Happy and Routray алгоритм………………………………………………………… 16
1.2.3 Byeon and Kwak алгоритм …………………………………………………………… 16
1.2.4 Song алгоритм …………………………………………………………………………….. 16
1.2.5 Luecy алгоритм …………………………………………………………………………… 16
1.2.6 Anderson алгоритм………………………………………………………………………. 17
1.2.7 Kotsia и Pitas алгоритм ………………………………………………………………… 17
1.2.8 Shan алгоритм …………………………………………………………………………….. 17
1.2.9 Zafar алгоритм ……………………………………………………………………………. 18
1.3 Теоретические основы ……………………………………………………………………… 18
1.3.1 Свертка блоком 1 х 1…………………………………………………………………… 18
1.3.2 LRN ……………………………………………………………………………………………. 19
1.3.3 ReLU ………………………………………………………………………………………….. 20
1.3.4 10-кратная перекрестная проверка ………………………………………………. 20
1.3.5 SVM …………………………………………………………………………………………… 21
1.3.6 Латентное размещение Дирихле (LDA) ……………………………………….. 21
1.3.7 Сверточные нейронные сети ……………………………………………………….. 22
2 РАЗРАБОТКА АЛГОРИТМА РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОГО
СОСТОЯНИЯ ЧЕЛОВЕКА ………………………………………………………………………….. 25
2.1 Архитектура разработанной модели …………………………………………………. 25
2.2 Используемые наборы данных ………………………………………………………….. 30
2.2.1 Набор данных MMI …………………………………………………………………….. 30
2.2.2 Набор данных CKP ……………………………………………………………………… 31
2.3 Обучение модели ……………………………………………………………………………… 32
3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ………………………………………………………….. 33
3.1 Использованные технологии …………………………………………………………….. 33
3.1.1 Keras …………………………………………………………………………………………… 33
3.1.2 OpenCV ………………………………………………………………………………………. 34
3.1.3 TensorFlow………………………………………………………………………………….. 34
3.1.4 Dlib …………………………………………………………………………………………….. 34
3.2 Описание функционала реализованного алгоритма …………………………… 35
3.3 Эксперименты и результаты……………………………………………………………… 36
4 РЕЗУЛЬТАТЫ РАБОТЫ ……………………………………………………………………….. 40
5 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ…………………………………………………………………………….. 43
5.1 Потенциальные потребители результатов исследования ……………………. 45
5.2 Сегментирование рынка …………………………………………………………………… 46
5.3 Оценка конкурентоспособности технических решений …………………….. 46
5.4 FAST-анализ …………………………………………………………………………………….. 47
5.4.1 Выбор объекта FAST-анализа ……………………………………………………… 48
5.4.2 Описание главной, основных и вспомогательных функций,
выполняемых объектом ………………………………………………………………………….. 48
5.4.3 Определение значимости выполняемых функций объектом ………… 48
5.4.4 Анализ стоимости функций выполняемых объектом исследования 50
5.4.5 Построение функционально-стоимостной диаграммы объекта и её
анализ …………………………………………………………………………………………………… 51
5.4.6 Оптимизация функций выполняемых объектом …………………………… 51
5.5 SWOT-анализ …………………………………………………………………………………… 52
5.6 Оценка готовности проекта к коммерциализации ……………………………… 54
5.7 Методы коммерциализации результатов научно-технического
исследования ……………………………………………………………………………………………. 55
5.8 Инициация проекта ………………………………………………………………………….. 56
5.8.1 Цели и результат проекта ……………………………………………………………. 56
5.8.2 Организационная структура проекта …………………………………………… 58
5.8.3 Ограничения и допущения проекта……………………………………………… 58
5.9 Планирование управления научно-техническим проектом ………………… 59
5.9.1 График проведения и бюджет НТИ……………………………………………… 59
5.10 Бюджет НТИ …………………………………………………………………………………. 62
5.11 Реестр рисков проекта ……………………………………………………………………. 68
5.12 Оценка ресурсной, финансовой и экономической эффективности НТИ
……………………………………………………………………………………………………… 69
6 СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ …………………………………………………. 74
6.1 Производственная безопасность ……………………………………………………….. 76
6.1.1 Анализ выявленных вредных факторов при разработке и
эксплуатации проектируемого решения………………………………………………….. 77
6.1.2 Анализ выявленных опасных факторов при разработке и
эксплуатации проектируемого решения………………………………………………….. 85
6.2 Экологическая безопасность …………………………………………………………….. 87
6.2.1 Анализ влияния процесса исследования на окружающую среду ….. 87
6.2.2 Обоснование мероприятий по защите окружающей среды…………… 87
6.3 Защита в чрезвычайных ситуациях …………………………………………………… 88
6.3.1 Анализ вероятных ЧС, которые могут возникнуть на рабочем месте
при проведении исследований………………………………………………………………… 88
6.3.2 Обоснование мероприятий по предотвращению ЧС и разработка
порядка действия в случае возникновения ЧС ………………………………………… 89
6.4 Правовые и организационные вопросы обеспечения безопасности ……. 90
6.4.1 Специальные правовые нормы трудового законодательства ………… 90
6.4.2 Организационные мероприятия при компоновке рабочей зоны
исследователя ………………………………………………………………………………………… 92
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 95
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ……………………………………….. 96
ПРИЛОЖЕНИЕ А (справочное) …………………………………………………………………. 100
ПРИЛОЖЕНИЕ Б CD-ДИСК ……………………………………………………………………… 108

В последние годы распознавание эмоций стало становиться популярным
не только в методах и специфике психологии и социологии.
С учетом всемирной и всепоглощающей идеи об искусственном
интеллекте ученые и программисты всего мира пришли к консенсусу
необходимости достаточно точного определения эмоций с помощью
программных средств.
Распознавание номеров у машин уже вошло в обиход и активно
используется правоохранительными органами, детектирование лиц с помощью
программ и компьютера уже давно не новинка, так как во многих крупных
компаниях стоит система безопасного входа по идентификации сотрудника
посредством фотографий.
Но один из самых важных прорывов в сфере безопасности был совершен
при введении на особо важные объекты камер с распознаванием
отрицательных, враждебно настроенных эмоций, которые помогут вычислить
преступника, грабителя или террориста. К тому же, распознавание эмоций
может быть применено в робототехнике. Робот может правильно реагировать
на состояние человека, при этом сделав взаимодействие человека с роботом
более естественным и интеллектуальным.
Особенно актуально правильно определить эмоциональное состояние
человека в ситуациях, которые могут быть опасны для жизни. В частности,
некоторые современные автомобили содержат систему определения усталости
водителя. Такого рода системы позволяют в некоторых случаях избежать
аварий, вызванных плохим самочувствием водителя, его невнимательностью
или сонливостью. Анализ осуществляется на основе результатов обработки
изображений лица человека, полученных с видеокамеры.
Исходя из этого, видно, что данное направление не стоит на месте и
успешно развивается. На данный момент значительную нишу в этом научном
направлении занимает машинное обучение, в частности нейронные сети. В
связи с вышеизложенным, высокую степень актуальности имеет задача
разработки нейросетевого алгоритма распознавания эмоционального состояния
человека по изображениям его лица.
Объектом данного исследования являются подходы и методы
распознавания мимических выражений лица. Предметом исследования
являются модели сверточных нейронных сетей для распознавания эмоций.
Целью работы является разработка нейросетевого алгоритма для
определения эмоционального состояния человека по изображению его лица.
Для достижения цели работы необходимо решить следующие задачи:
 осуществить обзор предметной области, определить степень
проработанности задачи;
 изучить и исследовать нейронные сети в области детектирования
экспрессий и в области распознавания в целом;
 на основе изученного материала предложить собственный алгоритм
распознавания эмоционального состояния человека;
 выполнить реализацию предложенного алгоритма;
 выделить проблемы данной научной области, оценить
практическую применимость разработанного алгоритма и обозначить
перспективы развития предложенного алгоритма.

1.J. Donahue, Y. Jia, O. Vinyals, J. Hoffman, N. Zhang, E. Tzeng, and
T.Darrell, “Decaf: A deep convolutional activation feature for generic visual
recognition,” arXiv preprint arXiv:1310.1531, 2013.
2.GoogLeNet[Электронныйресурс].–Режимдоступа:
https://ai.google/research/pubs/pub43022 (дата обращения: 06.05.2019).
3.S. Happy and A. Routray, “Automatic facial expression recognition
using features of salient facial patches,” Affective Computing, IEEE Transactions on,
vol. 6, no. 1, pp. 1–12, Jan 2015.
4.Y.-H. Byeon and K.-C. Kwak, “Facial expression recognition using
3d convolutional neural network.”
5.I. Song, H.-J. Kim, and P. B. Jeon, “Deep learning for realtime robust
facial expression recognition on a smartphone,” in Consumer Electronics (ICCE),
2014 IEEE International Conference on. IEEE, 2014, pp. 564–567.
6.P. Lucey, J. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews,
“The extended cohn-kanade dataset (ck+): A complete dataset for action unit and
emotion-specified expression,” in Computer Vision and Pattern Recognition
Workshops (CVPRW), 2010 IEEE Computer Society Conference on, June 2010, pp.
94–101.
7.K. Anderson and P. W. Mcowan, “A real-time automated system for
recognition of human facial expressions,” IEEE Trans. Syst., Man, Cybern. B,
Cybern, pp. 96–105, 2006.
8.I. Kotsia and I. Pitas, “Facial expression recognition in image sequences
using geometric deformation features and support vector machines,” Image
Processing, IEEE Transactions on, vol. 16, no. 1, pp. 172–187, Jan 2007.
9.C. Shan, S. Gong, and P. W. McOwan, “Facial expression recognition
based on local binary patterns: A comprehensive study,” Image and Vision
Computing, vol. 27, no. 6, pp. 803 – 816, 2009.
10. A. Zafer, R. Nawaz, and J. Iqbal, “Face recognition with expression
variation via robust ncc,” in Emerging Technologies (ICET), 2013 IEEE 9th
International Conference on, Dec 2013, pp. 1–5.
11. Review: GoogLeNet (Inception v1)— Winner of ILSVRC 2014 (Image
Classification),[Электронныйресурс].–Режимдоступа:
https://medium.com/coinmonks/paper-review-of-googlenet-inception-v1-winner-of-
ilsvlc-2014-image-classification-c2b3565a64e7 (дата обращения: 06.05.2019).
12. Latent Dirichlet Allocation, [Электронный ресурс]. – Режим доступа:
http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf(датаобращения:
08.05.2019).
13. CNN,[Электронныйресурс].–Режимдоступа:
https://www.machinecurve.com/index.php/2018/12/07/convolutional-neural-
networks-and-their-components-for-computer-vision/(дата обращения: 12.05.2019).
14. M. Pantic, M. F. Valstar, R. Rademaker, and L. Maat, “Webbased
database for facial expression analysis,” in Proceedings of IEEE Int’l Conf.
Multimedia and Expo (ICME’05), Amsterdam, The Netherlands, July 2005, pp. 317–
321.
15. Cohn-Kanade AU-Coded Expression Database, [Электронный ресурс].
–Режимдоступа:http://www.pitt.edu/~emotion/ck-spread.htmSdf(дата
обращения: 14.05.2019).
16. Keras:[Электронныйресурс]/Kerasdocumentation.URL:
https://keras.io/ (Дата обращения: 15.05.2019).
17. OpenCV: [Электронный ресурс] – URL: https://opencv.org/ (Дата
обращения: 15.05.2019).
18. Tensorflow:[Электронныйресурс]–URL:
https://www.tensorflow.org/ (Дата обращения: 15.05.2019).
19. Dlib: [Электронный ресурс] – URL: http://dlib.net/ (Дата обращения:
15.05.2019).
20. J. Wang and L. Yin, “Static topographic modeling for facial expression
recognition and analysis,” Comput. Vis. Image Underst. , vol. 108, no. 1-2, pp. 19–
34, Oct. 2007.
21. СанПиН2.2.2/2.4.1340-03.«Гигиеническиетребованияк
персональным электронно-вычислительным машинам и организации работы».
22. ГОСТ 12.0.003-74 (с измен. №1, октябрь 1978г., переиздание 1999
г.) «Классификация вредных и опасных производственных факторов».
23. Безопасность жизнедеятельности: Учебник для вузов /Под ред. К.З.
Ушакова. – М.: Изд-во Московского гос. горного университета, 2000.– 430 с.
24. СанПиН 2.2.4.548 – 96. «Гигиенические требования к микроклимату
производственных помещений»
25. СНиП 23-05-95. «Естественное и искусственное освещение».
26. СНиП 23-05-2010 «Нормы Коэффициента пульсации помещений
административных зданий».
27. СН 2.2.4/2.1.8.562-96 «Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории жилой, застройки».
28. ПОТ РО 29-002-94. «Правила по охране труда для издательств».
29. СанПиН2.2.4.1191-03.«Электромагнитныеполяв
производственных условиях».
30. ГОСТ 12.1.009-76 «Электробезопасность. Термины и определения».
31. СНиП 21-01-97. «Пожарная безопасность зданий и сооружений».
32. НПБ 105-95. «Определение категорий помещений и зданий по
взрывопожарной и пожарной опасности».
33. ГОСТ Р 50739-95 «Средства вычислительной техники. Защита от
несанкционированного доступа к информации».
34. ГОСТ 30772-2001 «Ресурсосбережение. Обращение с отходами.
Термины и определения».
35. Федеральныйзаконот8августа2001г.№128-ФЗ«О
лицензировании отдельных видов деятельности».
36. ГОСТ 12.2.032-78 «ССБТ. Рабочее место при выполнении работ
сидя. Общие эргономические требования».
37. ГОСТ 12.2.061-81 «ССБТ. Оборудование производственное. Общие
требования безопасности к рабочим местам».
38. Приказ Минздравсоцразвития РФ от 16.05.2005 N 83 («Об
утверждении перечней вредных и (или) опасных производственных факторов и
работ, при выполнении которых проводятся предварительные и периодические
медицинские осмотры (обследования), и Порядка проведения этих осмотров
(обследований)».
39. ТК РФ, Статья 147. Оплата труда работников, занятых на работах с
вредными и (или) опасными условиями труда.
40. ТК РФ, Статья 372. Порядок учета мнения выборного органа
первичной профсоюзной организации при принятии локальных нормативных
актов.
41. ГОСТ Р 55090-2012 «Ресурсосбережение. Обращение с отходами.
Рекомендации по утилизации отходов бумаги».
42. ГОСТ 10700-97 «Макулатура бумажная и картонная. Технические
условия».
43. ГОСТР56276-2014«Газыпарниковые.Углеродныйслед
продукции.Требованияи руководящие указания поколичественному
определению и предоставлению информации».
44. ГОСТ Р ИСО 14046-2017 «Экологический менеджмент. Водный
след. Принципы, требования и руководящие указания».

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Читать «Нейросетевые алгоритмы распознавания эмоционального состояния человека по изображениям его лица»

    Последние выполненные заказы

    т2732 речь и презентация к заказу Перспективы внешнеэкономического сотрудничества России и КНР
    Спасибо огромное за качественную работу!
    "Стратегия внедрения цифровых технологий в управление цепями поставок на примере ПАО "Транснефть""
    Большое спасибо автору! В установленные сроки полностью выполнен объем работы...
    Развитие образовательных комплексов города Москвы в современных социально-экономических условиях
    Работа была выполнена качественно и в установленный срок. Буду еще обращаться...
    Новое задание по государственному и муниципальному управлению
    Добрый день! Очень доволен работой, большое спасибо, что помогаете в написани...
    Особенности пересмотра судебных актов в арбитражном суде апелляционной инстанции
    Доволен работой автора
    "Наследование по закону в романо-германской и англо-саксонской правовых семьях: сравнительно-правовые аспекты"
    Хочу сказать огромное спасибо Вячеславу! Отвечал на все вопросы, вносил правк...

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Евгения Р.
    5 (188 отзывов)
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и со... Читать все
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и создаю красивые презентации. Сопровождаю работы до сдачи, на связи 24/7 ?
    #Кандидатские #Магистерские
    359 Выполненных работ
    Шиленок В. КГМУ 2017, Лечебный , выпускник
    5 (20 отзывов)
    Здравствуйте) Имею сертификат специалиста (врач-лечебник). На данный момент являюсь ординатором(терапия, кардио), одновременно работаю диагностом. Занимаюсь диссертац... Читать все
    Здравствуйте) Имею сертификат специалиста (врач-лечебник). На данный момент являюсь ординатором(терапия, кардио), одновременно работаю диагностом. Занимаюсь диссертационной работ. Помогу в медицинских науках и прикладных (хим,био,эколог)
    #Кандидатские #Магистерские
    13 Выполненных работ
    Александр О. Спб государственный университет 1972, мат - мех, преподав...
    4.9 (66 отзывов)
    Читаю лекции и веду занятия со студентами по матанализу, линейной алгебре и теории вероятностей. Защитил кандидатскую диссертацию по качественной теории дифференциальн... Читать все
    Читаю лекции и веду занятия со студентами по матанализу, линейной алгебре и теории вероятностей. Защитил кандидатскую диссертацию по качественной теории дифференциальных уравнений. Умею быстро и четко выполнять сложные вычислительные работ
    #Кандидатские #Магистерские
    117 Выполненных работ
    Катерина В. преподаватель, кандидат наук
    4.6 (30 отзывов)
    Преподаватель одного из лучших ВУЗов страны, научный работник, редактор научного журнала, общественный деятель. Пишу все виды работ - от эссе до докторской диссертации... Читать все
    Преподаватель одного из лучших ВУЗов страны, научный работник, редактор научного журнала, общественный деятель. Пишу все виды работ - от эссе до докторской диссертации. Опыт работы 7 лет. Всегда на связи и готова прийти на помощь. Вместе удовлетворим самого требовательного научного руководителя. Возможно полное сопровождение: от статуса студента до получения научной степени.
    #Кандидатские #Магистерские
    47 Выполненных работ
    Анастасия Л. аспирант
    5 (8 отзывов)
    Работаю в сфере метрологического обеспечения. Защищаю кандидатскую диссертацию. Основной профиль: Метрология, стандартизация и сертификация. Оптико-электронное прибост... Читать все
    Работаю в сфере метрологического обеспечения. Защищаю кандидатскую диссертацию. Основной профиль: Метрология, стандартизация и сертификация. Оптико-электронное прибостроение, управление качеством
    #Кандидатские #Магистерские
    10 Выполненных работ
    Катерина М. кандидат наук, доцент
    4.9 (522 отзыва)
    Кандидат технических наук. Специализируюсь на выполнении работ по метрологии и стандартизации
    Кандидат технических наук. Специализируюсь на выполнении работ по метрологии и стандартизации
    #Кандидатские #Магистерские
    836 Выполненных работ
    Андрей С. Тверской государственный университет 2011, математический...
    4.7 (82 отзыва)
    Учился на мат.факе ТвГУ. Любовь к математике там привили на столько, что я, похоже, никогда не перестану этим заниматься! Сейчас работаю в IT и пытаюсь найти время на... Читать все
    Учился на мат.факе ТвГУ. Любовь к математике там привили на столько, что я, похоже, никогда не перестану этим заниматься! Сейчас работаю в IT и пытаюсь найти время на продолжение диссертационной работы... Всегда готов помочь! ;)
    #Кандидатские #Магистерские
    164 Выполненных работы
    Татьяна П.
    4.2 (6 отзывов)
    Помогаю студентам с решением задач по ТОЭ и физике на протяжении 9 лет. Пишу диссертацию на соискание степени кандидата технических наук, имею опыт годовой стажировки ... Читать все
    Помогаю студентам с решением задач по ТОЭ и физике на протяжении 9 лет. Пишу диссертацию на соискание степени кандидата технических наук, имею опыт годовой стажировки в одном из крупнейших университетов Германии.
    #Кандидатские #Магистерские
    9 Выполненных работ
    Антон П. преподаватель, доцент
    4.8 (1033 отзыва)
    Занимаюсь написанием студенческих работ (дипломные работы, маг. диссертации). Участник международных конференций (экономика/менеджмент/юриспруденция). Постоянно публик... Читать все
    Занимаюсь написанием студенческих работ (дипломные работы, маг. диссертации). Участник международных конференций (экономика/менеджмент/юриспруденция). Постоянно публикуюсь, имею высокий индекс цитирования. Спикер.
    #Кандидатские #Магистерские
    1386 Выполненных работ

    Другие учебные работы по предмету