Методы и алгоритмы аспектного анализа тональности на основе гибридной семантико-статистической модели естественного языка

Во введении обосновывается актуальность исследований;
раскрывается научная новизна; практическая значимость работы
и ее соответствие выбранной специальности; описывается состав
и структура диссертации.
В первой главе рассматриваются актуальные задачи обработки
естественных языков. Отдельно описываются проблемы категоризации
и аспектно-ориентированного анализа тональности. На примере данных
задач анализируются основные модели и подходы, применяемые для
их решения. Подробно рассматриваются преимущества и недостатки
векторных моделей и алгоритмов Word Embeddings, тезаурусов
и лексиконов. На основании анализа предметной области обосновывается
актуальность работы и формулируется ключевая задача диссертационного
исследования.
Вторая глава посвящена разработке семантической модели
русского языка в виде многослойного семантического графа, которая
может использоваться как в задачах АОАТ, так и в ряде других задач,
связанных с поиском и анализом текстовой информации. Предложенная
реализация модели русского языка обладает следующими свойствами:
• Независимость семантического контента от узкой предметной
области (доменная независимость).
• Простота и гибкость структуры графа.
• Возможность автоматического построения, дополнения
и расширения.
• Полнота и адекватность содержащихся знаний.
Предложена реализация базового семантического графа
на основании общелингвистических словарей русского языка (Толковый
словарь русского языка С.И.Ожегова и Н.Ю.Шведовой и Словарь русских
синонимов и слов с близкими значениями Н.Абрамова).
Рассмотрим ключевые понятия модели. Пусть A – алфавит
естественного языка. Множество ⊂ + — это конечное множество
понятий или лексикон модели. Элементы множества V – вершины
семантического графа. По общепринятой практике понятия — это как
отдельные слова, так и устоявшиеся фразеологические сочетания.
Множество не учитывает морфологическиеособенности
словообразования, т.е. слова представлены каноническими формами.
Рис. 1 демонстрирует частеречный состав лексикона, извлеченного
из выбранных словарей.
Дуги графа соответствуют нечетким отношениям синонимии,
определения, ассоциации. Каждая дуга имеет метку вида = { , , },
где 0 ≤ , , ≤ 1 и – отношение ассоциации, – отношение
синонимии, – отношение определения. Предложены алгоритмы
их автоматического извлечения из словарей.

Рис. 1 – Частеречный состав лексикона общелингвистических словарей
Приобработкеспециализированныхтекстоввозникает
необходимость отделять специфические знания от общих, в связи с чем
предлагается строить граф многослойным. В общем случае модель
семантического графа содержит ≥ 0 – количество слоев, при этом =
( , ) – семантический граф i-го слоя , 0 – граф базового уровня, а при
1 ≤ ≤ – слои расширения семантики. Вершины ⊂ графов всех
слоев помечены словами из V, дуги в множестве имеют метки типа
отношения множества L. Таким образом, модель в виде многослойного
семантического графа, предлагаемого в данной работе, описывается
следующим образом:
= ( , , , , 0 , 1 , … , ).
Для перехода от к +1 используются функции ( )
и ( ), так что +1 = ( ), где является суперпозицией функций
и . Функция предназначена для отсечения малозначимых
элементов в , а – для преобразования весов вершин в .
Введем понятие семантической близости слов x и y:
( , ) = (∏( −1 , )∈ ( −1 , )) , где = 1 , 2 , … =
– путь из x в y, ( −1 , ) – вес дуги ( −1 , ) в графе. Понятие
семантической окрестности ( , ) объекта x, в которой мера близости
между x и любой вершиной множества V не превышает некоторый
заданный порог , позволяет выделять группу семантически близких
объектов. Структура окрестности существенно зависит от весов
отношений в графе.
Реализованы алгоритмы извлечения понятий и отношений
из текстов различной природы. Проанализированы основные различия
между структурированными и неструктурированными текстами с точки
зрения извлекаемой семантики.
Втретьейглавепредложенареализацияалгоритма
категоризации текстов на базе конденсированного семантического
графа, который строится на основе наборов структурированных или
неструктурированных текстов, объединенных общей тематикой.
Первый вопрос, который должен быть решен при обработке
различных доменов – выбор такой методики, которая позволяет провести
обработку по сопоставимым статистическим характеристикам. Для
соблюдения этого требования на основе проведенного анализа
статистических характеристик различных текстовых наборов. При
тестировании предлагаемого алгоритма были использованы два набора
обучающих данных, соответствующие двум различным доменам –
«Фильмы»1 и «Рестораны»2.Численныехарактеристикинаборов
представлены на рис. 2.

Рис. 2 – Численные характеристики для оценки лексического
разнообразия текстовых наборов

Пусть l – общее число слов в тексте, m – число уникальных

канонических форм, тогда = – коэффициент постоянства корпуса
слов. Величина d характеризует, сколько слов в среднем приходится
на одну каноническую форму, и чем выше это значение, тем менее
лексически разнообразны тексты. С использованием величины
постоянства корпуса текстов на базе эмпирических законов Хипса
и Ципфа сформулированы такие критерии, которые связывают пороги
отсечения значимых n-грамм при = 1,2,3 … для различных доменов:
( )1 / ( )2 = n√ 1 / 2, где ( )1 / ( )2 – отношение порогов n-грамм
для выбранных доменов, 1 / 2 – отношение порогов отсечения униграмм,
определяемое статистикой выбранных доменов. Рис. 3 демонстрирует
вариант отсечения значимых униграмм для домена «Рестораны».
Алгоритм построения конденсированных семантических
графов реализован на основании статистических характеристик домен-
специфического набора текстов. Пусть 0 – семантический граф,
построенный на основе словарей. Для построения каркаса 1 домен-
КиноПоиск. Все фильмыпланеты https://www.kinopoisk.ru/
SemEval-2016 Task 5: Aspect Based Sentiment Analysis
специфических подграфов в процессе экспериментальной проверки
введенных соотношений используются два уровня модели: слова
и биграммы, отфильтрованные с использованием пороговых значений.
Пусть D – множество слов, удовлетворяющих выбранному порогу для
униграмм, а B – множество биграмм, удовлетворяющих критериям выбора
биграмм. Сложность алгоритма имеет порядок (| | ∗ (| | + | |), что
является достаточно хорошим показателем и позволяет с небольшими
затратами строить множество конденсированных графов на основе одних
статистических данных.

Рис. 3 – зависимость частотности униграмм от их рангов и порог
отсечения для домена «Рестораны»

Домен-специфический каркас строится по следующим правилам:
• Каждое слово ∈ порождает вершину графа 1 , которой
присваивается вес = , где – частота появления слова в
домене.
• Каждая биграмма ∈ формирует двунаправленную
контекстнуюассоциативнуюсвязьв 1 между
формирующими ее словами.
Полученный каркас 1 достраивается с использованием
семантического графа 0 на базе процесса релаксации, основанного на
алгоритме BFS (breadth-first search), модифицированном следующим
образом:
• В качестве начальной вершины берется очередное слово ∈ ,
которому присваивается текущий вес ω = √ .
• Поиск ведется параллельно по графам 1 и 0 , 1 в ходе
поиска динамически расширяется за счет включения домен-
независимых вершин и связей из 0 . Веса новых вершин u,
заимствуемых
из 0 , изначально равны нулю: = 0.
• При посещении еще не рассмотренной вершины ′ ей
передается релаксационный вес ω = ( , ′ ), где u – предок
вершины ′ , ( , ′ ) ∈ 1 ∪ 0 , а ( , ′ ) – функция
релаксации.
• Критерий остановки алгоритма BFS дополнен правилом ω < Релаксация запускается для всех вершин из D независимо, накопление весов происходит также независимо. Все релаксационные веса в конечном счете суммируются в итоговые значения Ω для всех ∈ 1 . Функция релаксации имеет вид ( , ′ ) = α ∙ ω ∙ ( , ′ ), где 0 < α < 1 – коэффициент затухания, не зависящий от домена, – текущий релаксационный вес вершины и ( , ′ ) = max ( , , ) – вес связи между и ′ . После окончания релаксации производится повторное отсечение малозначимых слов. В качестве критерия для отсечсения √ + Ω выбирается = 2 .Рис.4демонстрируетфрагмент конденсированного графа, сформированный словом «блюдо» и его ближайшими соседями. В результате на основе домен-специфической информации в графе возникают области сгущения семантических данных. Для выявления центров сгущения введены две характеристики - центральность и градиент вершины. Рис. 4 – фрагмент конденсированного графа, образованный словом «блюдо» и его ближайшими соседями Пусть σ ∈ {0, 1, 2 … } - ширина захвата контекста. При σ = 0 контекст вершины не учитывается вообще, при σ = 1 в контекст включаются соседи первого порядка, при σ = 2 – соседи второго порядка и т.д. Введем величину центральности вершины. Пусть Ω – вес вершины, вычисленный в ходе релаксации, 1 = ( , ) – домен-специфический граф с вершинами и ребрами . Тогда центральность вершины будем определять по формуле: Ω , σ = 0 ∑( , )∈ Ω Ω , σ = 1, √∑( , )∈ Ω2 ( ) = ∑( , )∈ ( ) Ω ,σ > 1
√ ∑( , )∈ 2 ( )
{
Рассмотрим вектор градиента для функции C(v): ( ) = ( ( ) −
( 1 ), ( ) − ( 2 ), … , ( ) − ( )),где { 1 , 2 , … , } – соседи
первого порядка для вершины v. Величина градиента определяется
формулой:
( ) = √( ( ) − ( 1 ))2 + ( ( ) − ( 2 ))2 + ⋯ + ( ( ) − ( ))2
Для графов, прошедших через процесс релаксации и отсечения
незначимых вершин, были рассчитаны значения центральности для σ = 1
и значения градиентов. После расчета был проведен анализ влияния
выбора вычисляемой характеристики на набор ключевых терминов
домена. Кроме этого, оценивалась согласованность ранжирования
(% слов, которые попали в топ-N и по градиенту, и по центральности). Вне
зависимости от домена согласованность колеблется в пределах 55-65%.
Таким образом, использование конкретной характеристики или
их комбинации определяется поставленной задачей.
На основе введенных характеристик реализован алгоритм
построения семантических кластеров. Пусть – граф 1-го слоя,
построенный методом конденсации для некоторого домена . Пусть
= ( , ) – граф с рассчитанными релаксационными весами вершин,
а = ( , ) и = ( , ) – графы с рассчитанными градиентом
и центральностью соответственно. = { 1 , 2 , … , } – центры кластеров,
выбранные из списков наиболее значимых терминов.
Пусть – выбранный радиус кластера, равный максимальному
числу переходов от центра кластера до слов лексикона этого кластера
в графе при обходе в ширину. В общем случае вершина включается
в кластер с весом ( ) = ( ), где 0 ≤ ≤ – число переходов
до выбранной вершины и 0 < ≤ 1 – коэффициент затухания, позволяющий снижать значимость терминов для кластера при удалении от центра. Рассмотрим множество терминов ( , ) = { 1 , 2 , … , } кластера с центром и радиуса . Необходимо ввести определение вероятности ( , ) появления термина a для ∈ {0, 1, … , } в кластере с центром : ( , ) = ( )/ ,где = ∑ ∈ ( , ) ( ) - суммарный вес всех вершин в ( , ). Фактически, в множестве ( , ) присутствует еще одно слово 0 – это любое другое слово, не известное в данной области (т.е., не включенное в кластер). Определим ( 0 , ) = 0, что не нарушает соотношения ∑ ∈ ( , ) ( ) = 1. Качественная характеристика принадлежности предложения кластеру определяется количеством информации, содержащейся в и соответствующей кластеру . В соответствии с формулой Шеннона количество информации ( , ) относительно кластера вычисляется по формуле ( , ) = − ∑ =1 ( , ) ∗ log 2 ( , ),где ( , ) - вероятность принадлежности слова сообщения кластеру . Принимая во внимание соотношение ( 0 , ) = 0, будем рассматривать в только слова из ( , ): ( , ) = − ∑ = & ∈ ( , ) ( , ) ∗ log 2 ( , ). На основании данной формулы с учетом соотношения ( , ) ≪ показано, что в качестве характеристической функции принадлежностикластеруможетбытьвыбрановыражение ( , = = & ∈ ( , ) , ∗ log 2 , и значение функции )∑() ( , ) не зависит от количества слов в предложении. Для любого предложения можно рассчитать n-мерный вектор характеристик ̅ ( , ) = { ( , 1 ), ( , 2 ), … , ( , )}, пиковые значения которого соответствуют наиболее значимым кластерам (категориям). В данной работе применяется фильтрация по порогу для ( , ), а максимальное число рассматриваемых пиков не превышает 2. Для оценки качества работы метода категоризации был построен семантический граф с порогами 4 и 2 для униграмм и биграмм соответственно. Выделены кластеры со следующими центрами: {ЕДА, ИНТЕРЬЕР, РЕСТОРАН, ОБСЛУЖИВАНИЕ}. Эти центры наиболее хорошо соответствуют категориям FOOD, RESTAURANT, AMBIENCE, SERVICE обучающего набора SemEval-2016, Task5. Из обучающего набора были случайно выбраны 30 отзывов, для которых метки предложений сравнивались с ответом системы. Подсчитывалось число меток, которые совпали с ответом системы, а также число тех, которые были пропущены. При анализе было обработано 282 предложения, на которые приходится 314 неповторяющихся категорий из списка (если в атрибутах предложения дважды и более указана категория RESTAURANT, учитывался только факт ее появления). Из 314 категорий верно были определены 218 (69,5%). Предложенный алгоритм является комбинированным и включает в себя статистический и семантический компоненты, поэтому частично перенимает их недостатки – в частности, не удается преодолеть проблему обнаружения редких семантических категорий. Тем не менее, ключевые значимые категории, обнаруженные алгоритмом, достаточно полно соответствуют реальным категориям, присутствующим в наборе данных. Поэтому метод может использоваться для категоризации текстов в пределах новых доменов, для которых набор целевых категорий не определен заранее. Категории, выделенные с использованием данного алгоритма, предназначены для аспектно-ориентированного анализа тональности. Для оценки эмоциональной окраски применяются адаптированные алгоритмы вычисления тональности коротких текстов. Четвертаяглавапосвященагибридномусемантико- статистическому алгоритму оценки тональности коротких текстов. Предложен алгоритм автоматического формирования тонального словаря на основе данных обучающей выборки, включающей более чем 220.000 русскоязычных постов социальной сети twitter3. Лексикон выборки по частеречному составу близок к лексикону лингвистических словарей, что говорит об адекватности обучающих данных. Для оценки тональности униграмм и биграмм предложена двумернаянепрерывнаяматематическаямодель,основанная на частотности употребления слов в негативных и позитивных текстах. Пусть – частота вхождения слова w в корпус позитивных твитов, а – в корпус негативных. Рассмотрим следующие величины: 1. Эмоциональная окраска слова w: − =. + Рубцова Ю.В. Построение корпуса текстов для настройки тонового классификатора [Текст]// Программные продукты и системы. – 2015, №1(109), – С.72-78 2. Степень распространенности слова w в словаре W: + =. ( + ) ∈ Значения величины s изменяются в пределах [-1;1], значению -1 соответствуют «сильно негативные» слова, значению 1 – «сильно позитивные». Величина характеризует степень принадлежности слова к числу общеупотребительных и используется для оценки значимости термина в пределах словаря при пороговой фильтрации. Каждому слову поставлена в соответствие двумерная оценка = ( , ). Характер распределения слов по шкале эмоциональной окраски после фильтрации по близок к теоретическому нормальному распределению (рис. 5), что свидетельствует об адекватности предлагаемой оценки. Рис. 5 – Распределение вычисленных оценок по шкале В ходе работы обучающая выборка анализировалась на уровне лексики и на уровне поверхностного семантического анализа средствами парсера RML. При поверхностном семантическом анализе формировались семантически обусловленные биграммы, а формы слов с отрицаниями рассматривались как самостоятельные единицы лексикона. Показано, что учет отрицаний и семантической связности при формировании биграмм повышает точность оценки на 3-9%. Для ранжирования отдельных слов по значимости в пределах лексикона предложена весовая функция. Пусть имеется слово w с известной оценкой = ( , ), значение T, определяющее степень покрытия лексикона, при котором T терминов лексикона удовлетворяют условию < и соответствующие ему векторы (1, ) и (−1, ). Тогда R – расстояние от до соответствующего по знаку вектора, а d – расстояние от центра координат до точки пересечения направляющего вектора с нормалью, опущенной из точки . В таком ( , ) − 2 случае вес слова вычисляется по формуле: = 2 ,где √2 g – фактор роста – параметр модели, характеризующий скорость роста высоты пика гауссианы вдоль направляющего вектора, r – скорректированая ширина колокола, вычисленная на основе R, ( , ) – ростовая функция, определяемая по одной из формул: log10 ( + 1), , 2 или . Рисунок 6 демонстрирует пример поведения ростовой функции с логарифмическим ростом. Рис. 6 – График при =0,15, g=2, ( , ) = 10( + 1) Для преодоления недостаточности словарного запаса тонального лексикона использовался семантический граф. Для термина, тональность которого неизвестна, строится семантическая окрестность. Термины из окрестности, тональность которых известна, формируют систему взвешенных точек на плоскости (S,O), для которой вычисляется центр масс. Полученное значение принимается в качестве неявной оценки тональности неизвестного слова с некоторой степенью доверия словарю, лежащей в пределах (0…1]. Экспериментально показано, что оптимальная структура семантической окрестности формируется при рассмотрении только отношений синонимии и определения, причем число переходов по ребрам графа не должно превышать 2. В качестве оценки тональности короткого текста предлагается рассматривать центр масс системы слов в его составе, для которых вычислена явная или неявная оценка тональности в лексиконе. Для оценки работы алгоритма на уровне общей лексики проведен ряд экспериментов, результаты которых приведены в таблице 1. Таблица 1. Результаты экспериментов по определению тональности для 200 положительных и 200 отрицательных твитов. СловариMax % точности для Max % точности для позитивных текстовнегативных текстов Семантические 7369 Лексические6960 Предложенный алгоритм позволяет достаточно точно определять тональность коротких текстов при сравнительно невысокой вычислительной сложности. В сочетании с алгоритмом категоризации реализован метод построения единого семантического ядра для задач аспектно-ориентированного анализа тональности. Многослойный семантический граф в сочетании с тональным лексиконом позволяют адекватно определять аспектные категории, а затем оценивать полярность соответствующих мнений. К основным преимуществам гибридного метода, предлагаемого в данной работе, можно отнести: 1. Невысокуювычислительнуюсложностьалгоритмов конденсации и кластеризации. 2. Возможность строить графы для произвольных доменов независимо, не прибегая к полному переформированию основного графа. 3. Возможность сочетать статистические данные (в виде весов в графе) с явными семантическими отношениями (отметки на дугах графа). Работы автора, в которых изложены основные результаты Диссертации Журналы из перечня ВАК: 1. Корней А.О. Категоризация текстов на основе сконденсированного графа /А.О. Корней, Е.Н. Крючкова // Информационные технологии, №3 (2021), C.138-146, Изд-во "Новые технологии" г. Москва. – 2021. 2. Корней А.О. Семантико-статистический алгоритм определения категорий аспектов в задачах сентимент-анализа /А.О. Корней, Е.Н. Крючкова // Известия ЮФУ. Технические науки №6 (2020) C. 66-74. В изданиях, индексируемых SCOPUS: 3. Korney A., Kryuchkova E., Savchenko V. (2020) Information Retrieval Approach Using Semiotic Models Based on Multi-layered Semantic Graphs // In: Jordan V., Filimonov N., Tarasov I., Faerman V. (eds) High- Performance Computing Systems and Technologies in Scientific Research, Automation of Control and Production. HPCST 2020. Communications in Computer and Information Science. Springer, Cham. – 2020. – Vol. 1304. – P. 162-177. Прочие издания: 4. Корней А.О. Применение адаптируемых обобщенных словарей в задачах аспектно-ориентированного анализа тональности /А.О. Корней, Е.Н. Крючкова // Программная инженерия, №11-12 (2019), C. 471-479, Изд-во "Новые технологии" г. Москва. - 2019. 5. Корней А.О. Автоматический анализ тональности лексикона на основе обучающей выборки /А.О. Корней, Е.Н. Крючкова // НАУКА. ТЕХНОЛОГИИ. ИННОВАЦИИ сборник научных трудов: в 10 частях. - 2017. С. 26-29, Изд-во «Новосибирский государственный технический университет», г. Новосибирск. 6. Корней А.О. Анализ тональности коротких текстов на основе семантического графа /А.О. Корней, Е.Н. Крючкова // НАУКА. ТЕХНОЛОГИИ. ИННОВАЦИИ сборник научных трудов: в 10 частях. 2017. С. 29-32, Изд-во «Новосибирский государственный технический университет», г. Новосибирск. 7. Корней А.О. Автоматический анализ эмоционального состояния автора в коротких текстах на естественном языке /А.О. Корней, Е.Н. Крючкова // XIV Всероссийская научно – техническая конференция «Наука и молодежь- 2017». [Электронный ресурс]. – URL: http://edu.secna.ru/media/f/pi2017v3.pdf (дата обращения: 29.09.2021). 8. Корней А.О. Анализ тональности коротких текстов на основе семантическогографа/А.О.Корней,Е.Н.Крючкова // XIV Всероссийская научно – техническая конференция «Наука и молодежь-2018».[Электронныйресурс].–URL: http://edu.secna.ru/media/f/pi2018v1.pdf (дата обращения: 11.10.2021). 9. Корней А.О. Анализ тональности коротких текстов на основе семантического графа /А.О. Корней, Е.Н. Крючкова // Робототехника и искусственный интеллект материалы X Всероссийской научно- технической конференции с международным участием. Сибирский федеральный университет; Межинститутская базовая кафедра «Прикладная физика и космические технологии». - 2018. С. 168-174, Изд-во «Литера-Принт) (г.Москва). 10. Корней А.О. Проблемы эффективности сентимент-анализа русскоязычных текстов в социальных сетях /А.О. Корней, Е.Н. Крючкова // Высокопроизводительные вычислительные системы и технологии. №2(9). – 2018. – C.87-92, Изд-во “Алтайский государственный университет” (Барнаул). 11. Корней А.О. Проблемы аспектного анализа в условиях несбалансированной обучающей выборки /А.О. Корней, Е.Н. Крючкова // Высокопроизводительные вычислительные системы и технологии. №3(1). – 2019. – C.161-165, Изд-во “Алтайский государственный университет” (Барнаул). 12. Корней А.О., Категоризация русскоязычных текстов на основе несбалансированной обучающей выборки /А.О. Корней // Конкурс научно-исследовательских работ: Технологические инновации и научные открытия, Сборник статей по материалам Международного научно-исследовательского конкурса, C. 266-274. Уфа, 2020. 13. Корней А.О. Категоризация текстовых данных на основе сконденсированных семантических графов /А.О. Корней, Е.Н. Крючкова // Компьютерные и информационные технологии в науке, инженерии и управлении «КомТех-2020»: материалы Всероссийской научно-технической конференции с международным участием: в 2 т. Т.1 C. 453-458 / Южный федеральный университет. – Ростов-на-Дону; Таганрог: Издательство Южного федерального университета, 2020.[Электронныйресурс].–URL: http://comtech.sfedu.ru/images/komtex2020/sbornik_comtech_2020_all.zip (дата обращения 15.11.2021). 14. Корней А.О. Проблемы эффективной доменной адаптации систем аспектно-ориентированногоаннотированиятекстовотзывов потребителей/А.О.Корней,Е.Н.Крючкова// Высокопроизводительные вычислительные системы и технологии. №5(1). – 2021. – C.299-303, Изд-во “Алтайский государственный университет” (Барнаул).