Оценка релевантности текстовых отзывов сервиса анкетирования

Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0
Высотенко, Егор Игоревич Базовая кафедра интеллектуальных систем управления
Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

ВВЕДЕНИЕ………………………………………………………………………………………………… 4
1 Теоретические основы расчета критериев оценки релевантности текстовых
отзывов………………………………………………………………………………………………………..6
1.1Сервис анкетирования студентов СФУ……………………………………………….. 6
1.2Критерии оценки релевантности текстовых отзывов…………………………… 7
1.3Методы нормализации текста………………………………………………………………8
1.3.1 Стемминг…………………………………………………………………………………….. 8
1.3.2 Лемматизация……………………………………………………………………………….9
1.4 Подходы к решению задачи автоматической классификации текстовых
отзывов………………………………………………………………………………………………………11
1.4.1 Методы, основанные на машинном обучении…………………………….. 11
1.4.2 Метод, основанный на словаре тональностей…………………………….. 17
2 Исследование и выбор методов классификации текстов…………………………..20
2.1Анализ и сравнение методов машинного обучения при расчете критерия
принадлежности…………………………………………………………………………………………24
2.1.1 Предобработка данных………………………………………………………………. 24
2.1.2 Машинное обучение……………………………………………………………………25
2.2Анализ и сравнение методов нормализации при расчете критерия
тональной принадлежности словарным подходом………………………………………28
3 Программный модуль расчета критериев оценки релевантности текстовых
отзывов………………………………………………………………………………………………………31
3.1Описание программного модуля……………………………………………………….. 31
3.2Апробация программного модуля………………………………………………………35
ЗАКЛЮЧЕНИЕ………………………………………………………………………………………….49
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ………………………………………50

Сервисы анкетирования на сегодняшний день находят широкое
применение во многих областях деятельности, как с практической, так и с
научной точки зрения. Рассматривая механизм анкетирования студентов на
базе личного кабинета «Института космических и информационных
технологий», можно сказать о том, что анкетирование является одним из
непростых процессов механизма мониторинга образовательной среды.
Данный факт связан с тем, что в опросе определяющую роль играет
человеческий фактор. Именно в данном случае стоит более ответственно
подходить к анализу полученных результатов.
В случае, когда система анкетирования предусматривает возможность
дополнять числовую оценку текстовым комментарием, возникает задача
анализа текстовой части отзыва. Регулярная обработка результатов
практически всегда требует большое количество ресурсов, тем более если
данные представлены в свободной форме. Так же, не все отзывы можно
использовать как достоверную информацию. Проблема релевантности таких
результатов связанно с субъективным отношением человека и эмоциональным
фактором. Анализ текстовой части отзыва позволяет наиболее продуктивно
реализовывать обратную связь путем выделения числовых показателей
релевантности текста, используя современные методы машинного обучения.
Объектом исследования является сервис анкетирования студентов на

Не смотря на развитие современных IT-технологий, на текущий момент
нет совершенного алгоритма автоматического анализа текстов. Как правило,
любая задача из области классифицирования текстов отталкивается от
конечного результата, и успешность решения таких задач состоит из
правильного подбора технологий, например, технологий нормализации
данных перед машинным обучением и т.п.
В ходе работы по теме диссертации были проведены исследования по
выбору оптимальных технологий для автоматического анализа текстовых
отзывов сервиса анкетирования Сибирского федерального университета.
Прежде всего, были изучены аспекты нормализации данных. На практике,
рассмотрены стемминг и лемматизация текстов. Далее, были
проанализированы два метода автоматической классификации текстовых
отзывов: метод, основанный на машинном обучении и метод, основанный на
применении тональных словарей. В результате изучения метода с
применением машинного обучения, были рассмотрены пять математических
моделей.
По итогу работы, основываясь на результатах исследований, был
разработан модуль расчета критериев оценки релевантности текстовых
отзывов. По результатам апробации разработанного алгоритма был сделан
вывод о том, что выбранные технологии анализа являются оптимальными в
контексте решаемой задачи.

1. Даничев А.А., Якунин Ю.Ю. Аспектный анализ тональности
отзывов в образовательной среде // Информатизация образования и методика
электронного обучения Материалы III Международной научной конференции.
В двух частях. Сибирский федеральный университет, Институт космических и
информационных технологий. 2019. С. 61-65.
2. Обзорметодовклассификациивмашинномобучении
[Электронныйресурс].IT-портал«TProger.ru»–Режимдоступа:
https://tproger.ru/translations/scikit-learn-in-python/ (дата обращения 13.04.2020).
3. Документация модуля «Tree Tagger» [Электронный ресурс].
Режим доступа: https://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/
4. Документациябиблиотеки«nltk»,описаниестеммера
«SnowballStemmer» [Электронный ресурс]. IT-ресурс «kite» – Режим доступа:
https://kite.com/python/docs/nltk.SnowballStemmer
5. Онлайн-тезаурус русского языка «Карта слов» [Электронный
ресурс].–URL:https://github.com/dkulagin/kartaslov(датаобращения:
12.04.2020).
6. Описаниенаивногобайесовскогоалгоритмадля«Python»
[Электронныйресурс]:IT-ресурс«StackAbuse»–Режимдоступа:
https://stackabuse.com/the-naive-bayes-algorithm-in-python-with-scikit-learn/
7. Описание метода опорных векторов для «Python» [Электронный
ресурс]:IT-ресурс«StackAbuse»–Режимдоступа:
https://stackabuse.com/implementing-svm-and-kernel-svm-with-pythons-scikit-
learn/
8. Описание метода k-средних [Электронный ресурс]: IT-портал
«data science» – Режим доступа: https://stackabuse.com/implementing-svm-and-
kernel-svm-with-pythons-scikit-learn/
9. Описаниеклассификаторадереварешенийдля«Python»
[Электронныйресурс]:IT-ресурс«StackAbuse»–Режимдоступа:
https://stackabuse.com/decision-trees-in-python-with-scikit-learn/
10. Описание метода логистической регрессии [Электронный ресурс]:
«Википедия»–Режимдоступа:https://ru.wikipedia.org/wiki/
Логистическая_регрессия
11. Глубоко аннотированный корпус русского языка [Электронный
ресурс]:«Википедия»–Режимдоступа:https://ru.wikipedia.org/wiki/
Глубоко_аннотированный_корпус_русского_языка
12. Документация модуля TreeTager для «Python» [Электронный
ресурс]: TreeTagger Python Wrapper’s documentation – Режим доступа:
https://stackabuse.com/decision-trees-in-python-with-scikit-learn/

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Читать «Оценка релевантности текстовых отзывов сервиса анкетирования»

    Последние выполненные заказы

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    user1250010 Омский государственный университет, 2010, преподаватель,...
    4 (15 отзывов)
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    #Кандидатские #Магистерские
    21 Выполненная работа
    Дарья П. кандидат наук, доцент
    4.9 (20 отзывов)
    Профессиональный журналист, филолог со стажем более 10 лет. Имею профильную диссертацию по специализации "Радиовещание". Подробно и серьезно разрабатываю темы научных... Читать все
    Профессиональный журналист, филолог со стажем более 10 лет. Имею профильную диссертацию по специализации "Радиовещание". Подробно и серьезно разрабатываю темы научных исследований, связанных с журналистикой, филологией и литературой
    #Кандидатские #Магистерские
    33 Выполненных работы
    Ксения М. Курганский Государственный Университет 2009, Юридический...
    4.8 (105 отзывов)
    Работаю только по книгам, учебникам, статьям и диссертациям. Никогда не использую технические способы поднятия оригинальности. Только авторские работы. Стараюсь учитыв... Читать все
    Работаю только по книгам, учебникам, статьям и диссертациям. Никогда не использую технические способы поднятия оригинальности. Только авторские работы. Стараюсь учитывать все требования и пожелания.
    #Кандидатские #Магистерские
    213 Выполненных работ
    Вирсавия А. медицинский 1981, стоматологический, преподаватель, канди...
    4.5 (9 отзывов)
    руководитель успешно защищенных диссертаций, автор около 150 работ, в активе - оппонирование, рецензирование, написание и подготовка диссертационных работ; интересы - ... Читать все
    руководитель успешно защищенных диссертаций, автор около 150 работ, в активе - оппонирование, рецензирование, написание и подготовка диссертационных работ; интересы - медицина, биология, антропология, биогидродинамика
    #Кандидатские #Магистерские
    12 Выполненных работ
    Анна Н. Государственный университет управления 2021, Экономика и ...
    0 (13 отзывов)
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уни... Читать все
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уникальности с нуля. Все работы оформляю в соответствии с ГОСТ.
    #Кандидатские #Магистерские
    0 Выполненных работ
    Юлия К. ЮУрГУ (НИУ), г. Челябинск 2017, Институт естественных и т...
    5 (49 отзывов)
    Образование: ЮУрГУ (НИУ), Лингвистический центр, 2016 г. - диплом переводчика с английского языка (дополнительное образование); ЮУрГУ (НИУ), г. Челябинск, 2017 г. - ин... Читать все
    Образование: ЮУрГУ (НИУ), Лингвистический центр, 2016 г. - диплом переводчика с английского языка (дополнительное образование); ЮУрГУ (НИУ), г. Челябинск, 2017 г. - институт естественных и точных наук, защита диплома бакалавра по направлению элементоорганической химии; СПХФУ (СПХФА), 2020 г. - кафедра химической технологии, регулирование обращения лекарственных средств на фармацевтическом рынке, защита магистерской диссертации. При выполнении заказов на связи, отвечаю на все вопросы. Индивидуальный подход к каждому. Напишите - и мы договоримся!
    #Кандидатские #Магистерские
    55 Выполненных работ
    Шагали Е. УрГЭУ 2007, Экономика, преподаватель
    4.4 (59 отзывов)
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и... Читать все
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и диссертаций, Есть любимые темы - они дешевле обойдутся, ибо в радость)
    #Кандидатские #Магистерские
    76 Выполненных работ
    Катерина В. преподаватель, кандидат наук
    4.6 (30 отзывов)
    Преподаватель одного из лучших ВУЗов страны, научный работник, редактор научного журнала, общественный деятель. Пишу все виды работ - от эссе до докторской диссертации... Читать все
    Преподаватель одного из лучших ВУЗов страны, научный работник, редактор научного журнала, общественный деятель. Пишу все виды работ - от эссе до докторской диссертации. Опыт работы 7 лет. Всегда на связи и готова прийти на помощь. Вместе удовлетворим самого требовательного научного руководителя. Возможно полное сопровождение: от статуса студента до получения научной степени.
    #Кандидатские #Магистерские
    47 Выполненных работ
    Олег Н. Томский политехнический университет 2000, Инженерно-эконо...
    4.7 (96 отзывов)
    Здравствуйте! Опыт написания работ более 12 лет. За это время были успешно защищены более 2 500 написанных мною магистерских диссертаций, дипломов, курсовых работ. Явл... Читать все
    Здравствуйте! Опыт написания работ более 12 лет. За это время были успешно защищены более 2 500 написанных мною магистерских диссертаций, дипломов, курсовых работ. Являюсь действующим преподавателем одного из ВУЗов.
    #Кандидатские #Магистерские
    177 Выполненных работ

    Другие учебные работы по предмету

    Интеллектуальный анализ текстовых данных с rnприменением методов машинного обучения
    📅 2019 год
    🏢 Национальный исследовательский Томский политехнический университет (ТПУ)