Методика и программное обеспечение для обработки данных ранжирования узлов социального графа для идентификации пользователей-экспертов

Виноградова, Дарья Андреевна Отделение информационных технологий (ОИТ)
Бесплатно
В избранное
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Социальные сети оказывают значительное влияние на мнение людей, а информация, полученная из них, может быть определяющей при решении задач антитеррористической направленности, политической аналитики, прогнозирования репутационных рисков компании или субъекта, оценки спроса на товар или услугу, а также мониторинга общественного мнения. В настоящее время нельзя определенно назвать единственный лучший метод поиска пользователей-экспертов. Данная работа направлена на создание методики, позволяющей обработать и интерпретировать данные ранжирования улов социального графа при помощи нескольких эффективных способов. Практическая часть работы связанна с разработкой соответствующей алгоритмической базы и программного обеспечения для идентификации пользователей-экспертов.

Оглавление ……………………………………………………………………………………. 10

Введение……………………………………………………………………………………….. 15

1 Анализ возможности применения методов машинного обучения к
задаче идентификации пользователей-экспертов социальной сети в заданной
предметной области …………………………………………………………………………………. 16

1.1 Обзор задачи идентификации пользователей-экспертов в
социальной сети …………………………………………………………………………………… 16

1.2 Обзор эффективных способов решения задачи KPP-POS
применительно к задаче идентификации пользователей-экспертов
социальной сети …………………………………………………………………………………… 18

1.2.1 Методика построения социального графа при решении
задачи идентификации пользователей-экспертов ………………………………. 19

1.2.2 Обзор выделенных способов решения задачи KPP-POS … 19

1.3 Обзор и анализ машинных методов обучения применительно к
задаче идентификации пользователей-экспертов социальной сети. ……….. 22

1.4 Цель работы и задачи ………………………………………………………… 25

2 Разработка методики обработки данных ранжирования узлов
социального графа для задачи идентификации пользователей-экспертов
социальной сети……………………………………………………………………………………….. 26

2.1 Исследование методов кластерного анализа применительно к
задаче идентификации пользователей-экспертов социальной сети ………… 26

2.1.1 Обзор некоторых существующих алгоритмов кластерного
анализа, не требующих явного задания количества кластеров ……………. 27

2.1.2 Сравнение рассмотренных алгоритмов кластерного
анализа, не требующих явного задания количества кластеров ……………. 37
2.2 Выбор показателей качества для оценки результатов
применения различных методов кластерного анализа……………………………. 38

2.2.1 Однородность, полнота, V-мера……………………………………. 38

2.2.2 Силуэт …………………………………………………………………………. 40

2.3 Исследование подходов к выбору наиболее эффективного
метода кластеризации в зависимости от исходных данных ……………………. 41

2.4 Выделение значимых параметров выборки данных ……………. 42

2.4.1 Использование классификаторов для поиска
закономерностей……………………………………………………………………………….. 42

2.4.2 Подбор подхода выбора наиболее эффективного метода
кластеризации в зависимости от исходных данных ……………………………. 45

2.4.3 Определение метрики качества обучения классификатора
для определения наиболее эффективного метода кластеризации в
зависимости от исходных данных ……………………………………………………… 47

2.5 Описание методики обработки данных ранжирования узлов
социального графа при идентификации пользователей-экспертов
социальной сети …………………………………………………………………………………… 51

3 Проектирование и разработка программного обеспечения для
обработки данных ранжирования узлов социального графа при
идентификации пользователей-экспертов социальной сети ………………………. 52

3.1 Проектирование программного обеспечения для обработки
данных ранжирования узлов социального графа при идентификации
пользователей-экспертов социальной сети ……………………………………………. 52

3.1.1 Описание используемых технологий ……………………………. 52

3.1.2 Выделение функциональных требований ……………………… 53

3.1.3 Определение вариантов использования программного
обеспечения 53
3.1.4 Описание архитектуры программного обеспечения ………. 55

3.1.5 Описание микроархитектуры программного обеспечения 58

3.2 Разработка программного обеспечения для обработки данных
ранжирования узлов социального графа при идентификации
пользователей-экспертов социальной сети ……………………………………………. 60

3.2.1 Описание реализации функций загрузки и обработки
данных показателей Боргатти, информационной энтропии, и
коммуникационной эффективности из документа формата XLSX ……… 60

3.2.2 Описание реализации функций кластеризации данных
определенными алгоритмами ……………………………………………………………. 61

3.2.3 Описание реализации функции автоматической
кластеризации …………………………………………………………………………………… 61

3.2.4 Описание реализации функций определения качества
кластеризации …………………………………………………………………………………… 62

3.2.5 Описание реализации функции визуализации……………….. 64

4 Результаты работы разработанного программного обеспечения для
обработки данных ранжирования узлов социального графа при
идентификации пользователей-экспертов социальной сети ………………………. 66

4.1 Общие результаты работы разработанного программного
обеспечения для обработки данных ранжирования узлов социального
графа при идентификации пользователей-экспертов социальной сети …… 66

4.2 Анализ качества обучения классификатора дерева решений
применяемого к определению наиболее эффективного метода
кластеризации в зависимости от исходных данных ……………………………….. 68

4.3 Анализ качества применения алгоритмов кластеризации
DBScan и Fast Affinity Propagation для решения задачи идентификации
пользователей-экспертов социальной сети ……………………………………………. 70
5 Финансовый менеджмент, ресурсоэффективность и
ресурсосбережение…………………………………………………………………………………… 72

5.1 Оценка коммерческого потенциала и перспективности
проведения научных исследований с позиции ресурсоэффективности …… 72

5.1.1 Потенциальные потребители результатов исследования .. 72

5.1.2 QuaD ……………………………………………………………………………. 73

5.1.3 SWOT-анализ ………………………………………………………………. 74

5.1.4 Оценка готовности проекта к коммерциализации …………. 77

5.1.5 Методы коммерциализации результатов научно-
технического исследования……………………………………………………………….. 79

5.2 Инициация проекта ……………………………………………………………. 79

5.2.1 Цели и результат проекта……………………………………………… 80

5.2.2 Организационная структура проекта …………………………….. 81

5.2.3 Ограничения и допущения проекта. ……………………………… 82

5.3 Планирование управления научно-техническим проектом …. 82

5.3.1 План проекта ……………………………………………………………….. 82

5.3.2 Бюджет научного исследования ……………………………………. 84

5.3.3 Реестр рисков проекта ………………………………………………….. 91

5.4 Заключение главы финансовый менеджмент,
ресурсоэффективность и ресурсосбережение ………………………………………… 92

6 Социальная ответственность……………………………………………………. 93

6.1 Производственная безопасность ………………………………………… 93

6.1.1 Анализ выявленных вредных факторов при разработке
программного продукта. ……………………………………………………………………. 94
6.1.2 Анализ выявленных опасных факторов при разработке
программного продукта …………………………………………………………………… 103

6.2 Экологическая безопасность ……………………………………………. 106

6.3 Безопасность в чрезвычайных ситуациях. ………………………… 109

6.3.1 Перечень возможных ЧС при разработке и эксплуатации
проектируемого решения ………………………………………………………………… 109

6.3.2 Разработка действий в результате возникшей ЧС и мер по
ликвидации её последствий. ……………………………………………………………. 110

6.4 Правовые и организационные вопросы обеспечения
безопасности ………………………………………………………………………………………. 112

6.5 Заключение главы социальная ответственность ……………….. 115

Заключение …………………………………………………………………………………. 116

Список публикаций……………………………………………………………………… 118

Список используемых источников……………………………………………….. 119

Приложение А …………………………………………………………………………….. 128

Приложение Б ……………………………………………………………………………… 131

Приложение В …………………………………………………………………………….. 132

Приложение Г ……………………………………………………………………………… 133

Приложение Д …………………………………………………………………………….. 134

Приложение Е……………………………………………………………………………… 135

Приложение Ж ……………………………………………………………………………. 136

Приложение З ……………………………………………………………………………… 138

Приложение И …………………………………………………………………………….. 139

Современный мир невозможно представить без социальных сетей.
Высокий уровень вовлеченности современного человека в процесс
виртуального общения приводит к огромному скоплению различных данных
в социальных сетях, анализ которых может выявить ценную информацию
разного рода.
Информация, полученная из социальных сетей, может быть
определяющей при решении задач антитеррористической направленности,
политической аналитики, прогнозирования репутационных рисков компании
или субъекта, оценки спроса на товар или услугу, а также мониторинга
общественного мнения.
Социальные сети оказывают значительное влияние на мнение людей.
Пользователи социальных сетей часто выражают собственное мнение по
актуальным вопросам, событиям, товаром или услугам в интересующих их
темах. Однако, можно заметить, что мнение некоторых пользователей в
определенных тематиках оказывает высокое влияние на мнение других
пользователей.
Информация о влиятельных пользователях (далее пользователи-
эксперты) в определенной сфере может быть полезна при решении различных
практических задач. Пример решения маркетинговой задачи: компания
производства косметики может получить качественную рекламу у
пользователя-эксперта социальной сети в сфере красоты.
В настоящее время нельзя определенно назвать единственный лучший
метод поиска пользователей-экспертов социальной сети в заданной тематики.
Данная работа направлена на создание методики, позволяющей обработать и
интерпретировать данные ранжирования узлов социального графа при
помощи нескольких эффективных способов. Практическая часть работы
связанна с разработкой соответствующей алгоритмической базы и
программного обеспечения для идентификации пользователей-экспертов.

Данная диссертационная работа посвящена решению задачи
идентификации пользователей-экспертов социальной сети в заданной
предметной области.
Была создана следующая методика, позволяющей обработать и
интерпретировать данные ранжирования узлов социального графа при
помощи нескольких эффективных способов для идентификации
пользователей-экспертов социальной сети:
1. Взять выборку данных, содержащую показатели Боргатти,
информационной энтропии, и коммуникационной эффективности
всех пользователей социальной сети, кто связан с заданной
предметной областью;
2. Выбирать первые 20 значимых узла взятой выборки данных и
передать их обученному классификатору;
3. Получить результат классификатора, передать полную выборку
данных подобранному классификатором алгоритму кластерного
анализа;
4. Получить результаты кластеризации, перевести их в доступную для
понимания человеком форму, выдать результат.
В качестве практической части работы было разработано программное
обеспечение для идентификации пользователей-экспертов в социальной сети.
Разработанное программное обеспечение соответствует всем предъявленным
ему требованиям, а именно:
 Наличие средств для загрузки данных;
 Возможность кластеризации данных алгоритмом DBScan;
 Возможность кластеризации данных алгоритмом Fast Affinity
Propagation;
 Возможность автоматической кластеризации данных,
организованной по выведенной методике;
 Наличие средств определения качества выполненной
кластеризации;
 Наличие средств визуализации результатов кластеризации.
Также был проведен анализ качества обучения классификатора дерева
решений, применяемого в функции автоматической кластеризации для
определения наиболее эффективного метода кластеризации в зависимости от
исходных данных. Анализ показал, что классификатор обучен приемлемо.
Еще был проведен анализ качества применения алгоритмов
кластеризации DBScan и Fast Affinity Propagation для решения задачи
идентификации пользователей-экспертов социальной сети. Анализ показал,
что применения алгоритмов DBScan и Fast Affinity Propagation для решения
задачи идентификации пользователей-экспертов социальной сети путем
автоматической кластеризации является верным решением, так как показатели
говорят о качественной кластеризации данных.
Список публикаций
1. Виноградова Д. А. Исследование применимости алгоритмов
кластеризации Affinity Propagation, Dbscan к решению задачи поиска
пользователей-экспертов в социальных сетях // Молодежь и
современные информационные технологии: сборник трудов XVI
Международной научно-практической конференции студентов,
аспирантов и молодых ученых (Томск, 3–7 декабря 2018 г.) / Томский
политехнический университет. – Томск: Изд-во ТПУ, 2019. – Сек.1 –
с.160-162

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Последние выполненные заказы

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Дмитрий Л. КНЭУ 2015, Экономики и управления, выпускник
    4.8 (2878 отзывов)
    Занимаю 1 место в рейтинге исполнителей по категориям работ "Научные статьи" и "Эссе". Пишу дипломные работы и магистерские диссертации.
    Занимаю 1 место в рейтинге исполнителей по категориям работ "Научные статьи" и "Эссе". Пишу дипломные работы и магистерские диссертации.
    #Кандидатские #Магистерские
    5125 Выполненных работ
    Егор В. кандидат наук, доцент
    5 (428 отзывов)
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Ск... Читать все
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Скорее всего Ваш заказ будет выполнен раньше срока.
    #Кандидатские #Магистерские
    694 Выполненных работы
    Сергей Н.
    4.8 (40 отзывов)
    Практический стаж работы в финансово - банковской сфере составил более 30 лет. За последние 13 лет, мной написано 7 диссертаций и более 450 дипломных работ и научных с... Читать все
    Практический стаж работы в финансово - банковской сфере составил более 30 лет. За последние 13 лет, мной написано 7 диссертаций и более 450 дипломных работ и научных статей в области экономики.
    #Кандидатские #Магистерские
    56 Выполненных работ
    Анна В. Инжэкон, студент, кандидат наук
    5 (21 отзыв)
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссе... Читать все
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссертаций. Работала в маркетинге. Практикующий бизнес-консультант.
    #Кандидатские #Магистерские
    31 Выполненная работа
    Дмитрий М. БГАТУ 2001, электрификации, выпускник
    4.8 (17 отзывов)
    Помогаю с выполнением курсовых проектов и контрольных работ по электроснабжению, электроосвещению, электрическим машинам, электротехнике. Занимался наукой, писал стать... Читать все
    Помогаю с выполнением курсовых проектов и контрольных работ по электроснабжению, электроосвещению, электрическим машинам, электротехнике. Занимался наукой, писал статьи, патенты, кандидатскую диссертацию, преподавал. Занимаюсь этим с 2003.
    #Кандидатские #Магистерские
    19 Выполненных работ
    Анна К. ТГПУ им.ЛН.Толстого 2010, ФИСиГН, выпускник
    4.6 (30 отзывов)
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помог... Читать все
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помогала студентам, вышедшим на меня по рекомендации.
    #Кандидатские #Магистерские
    37 Выполненных работ
    Шиленок В. КГМУ 2017, Лечебный , выпускник
    5 (20 отзывов)
    Здравствуйте) Имею сертификат специалиста (врач-лечебник). На данный момент являюсь ординатором(терапия, кардио), одновременно работаю диагностом. Занимаюсь диссертац... Читать все
    Здравствуйте) Имею сертификат специалиста (врач-лечебник). На данный момент являюсь ординатором(терапия, кардио), одновременно работаю диагностом. Занимаюсь диссертационной работ. Помогу в медицинских науках и прикладных (хим,био,эколог)
    #Кандидатские #Магистерские
    13 Выполненных работ
    Дарья С. Томский государственный университет 2010, Юридический, в...
    4.8 (13 отзывов)
    Практикую гражданское, семейное право. Преподаю указанные дисциплины в ВУЗе. Выполняла работы на заказ в течение двух лет. Обучалась в аспирантуре, подготовила диссерт... Читать все
    Практикую гражданское, семейное право. Преподаю указанные дисциплины в ВУЗе. Выполняла работы на заказ в течение двух лет. Обучалась в аспирантуре, подготовила диссертационное исследование, которое сейчас находится на рассмотрении в совете.
    #Кандидатские #Магистерские
    18 Выполненных работ
    Татьяна П.
    4.2 (6 отзывов)
    Помогаю студентам с решением задач по ТОЭ и физике на протяжении 9 лет. Пишу диссертацию на соискание степени кандидата технических наук, имею опыт годовой стажировки ... Читать все
    Помогаю студентам с решением задач по ТОЭ и физике на протяжении 9 лет. Пишу диссертацию на соискание степени кандидата технических наук, имею опыт годовой стажировки в одном из крупнейших университетов Германии.
    #Кандидатские #Магистерские
    9 Выполненных работ

    Другие учебные работы по предмету