Алгоритмическое обеспечение нейронной сети с полиномиальными кусочно-непрерывными функциями активации для обнаружения закономерностей в данных

Актуальность темы исследования. Методы и технологии искусственного
интеллекта используются для решения многих практических задач: автоматизации и
роботизации технологических процессов и производств, проектирования
информационно-вычислительных систем, телекоммуникационных и компьютерных
сетей и т.д. Искусственные нейронные сети и технологии, базирующиеся на них,
занимают лидирующие позиции среди методов и технологий искусственного
интеллекта. В естественных и технических науках задачи делятся на формализуемые
и неформализуемые. Постановка любой задачи заключается в том, чтобы перевести
ее словесное, вербальное описание в формальное. В случае относительно простых
задач такой переход осуществляется в сознании (естественном интеллекте) человека.
Если полученная формальная модель (математическая зависимость между
величинами в виде формулы, уравнения, системы уравнений) опирается на
фундаментальный закон или подтверждается экспериментом, то этим доказывается
ее адекватность отображаемой ситуации, и модель рекомендуется для решения задач
соответствующего класса. Неформализуемые задачи невозможно представить,
используя только естественный интеллект человека, в виде каких-то формальных
моделей. С развитием науки и техники количество таких неформализуемых задач
постоянно растет. К числу неформализуемых задач относятся и задачи обнаружения
скрытых закономерностей в наборах данных. Для их решения развиваются
специальные приемы и методы, обобщенные в теории систем и системном анализе,
создаются экспертные системы – интеллектуальные системы, основанные на
знаниях. Роль методов искусственного интеллекта, теории нейронных сетей и
нейросетевых технологий в реализации методик системного анализа и разработке
интеллектуальных систем трудно переоценить. Решение неформализуемых задач
осложняется различными видами НЕ-факторов знаний: неопределенность,
нечеткость, неточность, недоопределенность и неполнота знаний эксперта о
свойствах проблемной области.
Таким образом, задача обнаружения скрытых закономерностей в наборах
данных на основе нейросетевых технологий является актуальной в научном аспекте
и практически значимой.
Степень научной разработанности проблемы. Для повышения
эффективности систем обработки информации и снижения вычислительных затрат, в
теории нейронных сетей и нейросетевых технологий разрабатываются новые
функции активации. Большая работа в этом направлении проведена такими
авторами, как Билски Дж., Вонг К.В., Леунг К.С., Нага К., Накаямма К., и др. Билски
Дж. предложил новую логарифмическую функцию активации. Подробное сравнение
между этой логарифмической функцией активации и различными простыми
функциями активации, основанными на экспонентах сделано Азизом С.М.,
Камруззаманом Дж. Авторы исследуют скорость обучения и скорость сходимости по
проблеме распознавания символов и классической проблеме классификации XOR,
предлагая использовать обратную функцию тангенса как функцию активации. Они
так же сравнивают эффективность обучения в терминах эпох, необходимых для
изучения задачи, с предложенной обратной функцией тангенса, с классическими
сигмоидальными и гиперболическими функциями тангенса и новой
логарифмической функции активации, найденной Билски Дж, обнаруживая
значительный прирост производительности. Пиккневский Ф., Рыбицкий Л.
предложили две функции активации, одна из которых основана на интеграции
треугольной функции, а другая – на разнице между двумя сигмоидами (лог-
экспоненциальная), и сравнивается с помощью метода барицентрического
построения, который проецирует возможности отображения сети в гиперразмерный
куб. Исследование показало, что лог-экспоненциальная функция медленно
ускорялась, но она была эффективной в многослойном перцептроне с обучением
методом обратного распространения. Гуарнери С., Камполуччи П., Каппарелли Ф.,
Пьяцца Ф., Унчини А. используют в качестве функции активации кусочную
интерполяцию на основе кубических сплайнов, обеспечивающую характеристики,
сравнимые с сигмоидальной функцией, с уменьшенными вычислительными
затратами. Ма Л., Хорасани К. предложили функцию активации, которая
представляется ортонормированными полиномами Эрмита. Каждый добавленный
нейрон в скрытом слое характеризуется функцией активации, которая является более
сложной по сравнению с имеющимися нейронами. С помощью обширного
моделирования авторы доказывают, что такая сеть демонстрирует отличные
характеристики по сравнению с аналогичными нейронными сетями с идентичными
сигмовидными функциями активации. Функция активации также исследован Вонгом
К. В., Леунгом С. С., Чанегом С. Авторы исследовали обучение нейронных сетей с
помощью алгоритма расширенного фильтра Калмана. Сеть протестирована на
классические сигмоидальные и синусоидальные функции активации, распознавание
рукописного ввода, прогнозирование временных рядов, создание четности и
отображение XOR. Они доказывают, что предложенная периодическая функция
превосходит обе классические функции активации с точки зрения конвергенции
обучения. Накаямма К., Хара К., предлагают комбинацию сигмоидальной и
синусоидальной и гауссовской функции активации, чтобы использовать их
независимые свойства деления пространства. Авторы сравнивают гибридную
структуру в задаче классификации многочастотных сигналов, делая вывод, что
комбинация трех функции активации работает эффективнее, чем сигмоидальная (по
скорости сходимости) и гауссовская (по шумоподавлению) и синусоидальная
функция активации, даже если каждая из них обеспечивает достижение лучших
результатов по отмеченным выше критериям.
Объединение нейронных сетей с функциями принадлежности из теории
нечетких систем нашло применение для решения задач прогнозирования и
классификации состояний объектов. Гомес-Чова Л., Кэмпс-Вальс Г., Кальпе-
Маравилья Ж., Мартин-Герреро Ж.Д., Сория-Оливас Э., Серрано-Лопес А.
определяют передачу гиперболического тангенса с помощью трех различных
функций принадлежности, фактически определяя классическую функцию активации
с помощью нечеткой логики. Основным преимуществом на этапе обучения является
низкая вычислительная стоимость, обеспечиваемая тем, что обновление веса не
всегда необходимо. Дополнительное применение нейронных сетей с нечеткими
функцями активации можно найти в работе Субаси А. Автор использует нейронные
сети для обнаружения эпилептического припадка, обработки и классификации
электроэнцефалографии сигналов. Вон И., Хунь Х.Т. предлагают метод
аналитического обучения, отмеченный как экстремальное машинное обучение, для
нейронных сетей с нечеткими функциями активации. Авторы тестируют методику
по проблемам медицинской диагностики, классификации изображений и анализа
спутниковых изображений. Ярушкиной Н.Г. представлена генетическая нейро-
нечеткая система, которая построена на основе многослойной архитектуры с
использованием И-, ИЛИ-нейронов и принципом «конкуренции и кооперации». В
работе Ярушкиной Н.Г. также отметим совместное применение генетических
алгоритмов и нейронных сетей – это настройка функций принадлежности нечетких и
нейро-нечетких систем.
Таким образом, существует обширное научное поле, в котором
рассматриваются проблемы разработки функций активации в теории нейронных
сетей и функции принадлежности, изучаемые в теории нечетких систем, на основе
которых можно создать новые нейронные сети с нечеткими функциями активации
для решения задач обнаружения закономерностей в наборах данных.
Объектом исследования являются нейронные сети нового типа с функциями
активации, базирующимися на функциях принадлежности теории нечетких систем.
Предметом исследования является моделирование и применение новых
нейронных сетей для решения типовых задач обнаружения закономерностей в
наборах данных: прогнозирования временных рядов, амплитуды
детерминированного сигнала на фоне белого шума, классификации интенсивности
марковского случайного потока событий и классификации объектов и их состояний.
Целью работы является разработка и исследовании нейронных сетей нового
типа с полиномиальными кусочно-непрерывными функциями активации для
обнаружения закономерностей в наборах данных, алгоритмов обучения и
программных средств создания нечетких нейронных сетей для решения типовых
задач обнаружения закономерностей в наборах данных.
Задачи исследования. Для достижения намеченной цели были решены
следующие задачи:
1. Анализ существующих полиномиальных кусочно-непрерывных функций
принадлежности в теории нечетких систем с целью их использования в качестве
функции активации нечетких нейронных сетей.
2. Разработка тестовых наборов данных для типовых задач обнаружения
закономерностей в данных.
3. Построение моделей нечетких нейронных сетей для тестовых задач
обнаружения закономерностей в данных:
− прогнозирование временных рядов со стохастическим трендом;
− определение параметров детерминированного сигнала на фоне белого
шума;
− классификация интенсивности марковского случайного потока событий;
− классификация объектов и их состояний.
4. Разработка алгоритмов обучения нечетких нейронных сетей для выше
перечисленных тестовых задач обнаружения закономерностей в данных.
5. Математическое моделирование нечетких нейронных сетей для выше
перечисленных тестовых задач обнаружения закономерностей в данных.
Научная новизна работы заключается в следующем:
1. Разработаны новые функции активации для нейронных сетей, которые
основаны на функциях принадлежности теории нечетких систем и теории
надежности, и на их базе разработаны новые нейронные сети.
2. Модифицированы алгоритмы обучения нейронных сетей для типовых
задач обнаружения закономерностей в наборах данных. Усовершенствованы метод
Левенберга – Марквардта, алгоритм кластеризации K – средних, вычисление весов
выходного слоя нечетких нейронных сетей с использованием псевдообратного
метода, алгоритм масштабированного cопряженного градиента.
3. Созданы модели новых нейронных сетей для типовых задач
обнаружения закономерностей в наборах данных: прогнозирование временных
рядов, определение амплитуды детерминированного сигнала на фоне белого шума,
классификация интенсивности марковского случайного потока событий и
классификация объектов и их состояний.
Теоретическая значимость и практическая значимость работы.
Предложенные в диссертации модели и алгоритмы могут быть применены для
создания программного обеспечения нечеткого нейросетевого классификатора для
повышения эффективности решения следующих практических задач:
1. Прогнозирование временных рядов со стохастическим трендом.
2. Определение параметров сигнала на фоне помех (шум) при диагностике
технических систем.
3. Определение трафика в телекоммуникационных и компьютерных сетях
как интенсивности марковского случайного потока событий.
4. Классификация сложных объектов и определение их состояний.
Результаты диссертации использованы в учебном процессе кафедры
«Автоматизированные системы управления» в федеральном государственном
бюджетном образовательном учреждении высшего образования «Томский
государственный университет систем управления и радиоэлектроники».
Методы исследования основаны на теории нечетких систем, теории принятия
решений, нейроинформатике, методах обучения нейронных сетей, цифровой
обработки сигналов.
Научные положения, выносимые на защиту:
1. Новые функция активации нейронных сетей, основанные на функциях
принадлежности LR-типа в теории нечетких систем и теории надежности, на базе
этих функций разработаны новые нейронные сети.
Соответствует пункту 1 паспорта специальности 05.13.01: Теоретические
основы и методы системного анализа, оптимизации, управления, принятия решений
и обработки информации.
2. Модификация алгоритмов обучения нейронных сетей для типовых задач
обнаружения закономерностей в наборах данных для повышения эффективности
систем обработки информации.
Соответствует пункту 7 паспорта специальности 05.13.01: Методы и
алгоритмы структурно-параметрического синтеза и идентификации сложных
систем.
3. Модели новых нейронных сетей для типовых задач обнаружения
закономерностей в наборах данных: прогнозирование временных рядов, определение
амплитуды детерминированного сигнала на фоне белого шума, классификация
интенсивности марковского случайного потока событий и классификация объектов и
их состояний.
Соответствует пункту 11 паспорта специальности 05.13.01: Методы и
алгоритмы прогнозирования и оценки эффективности, качества и надежности
сложных систем.
Апробация результаты исследования. Основные положения и результаты
диссертации докладывались и обсуждались на:
Международной научно-практической конференции «Электронные средства и
системы управления», г. Томск, 2016 г.
Международной научно-практической конференции студентов, аспирантов и
молодых учёных «Молодёжь и современные информационные технологии», г.
Томск, 2016 г.
Международной научно-практической конференции «Электронные средства и
системы управления», г. Томск, 2017 г.
Международной научно-практической конференции студентов, аспирантов и
молодых учёных «Молодёжь и современные информационные технологии», г.
Томск, 2017 г.
Международной научной конференции «Информационные технологии в
науке, управлении, социальной сфере и медицине », г. Томск, 2017 г.;
The 22nd National Scientific Conference for Fluid Mechanics, Hai Phong, Viet
Nam, 2019.
The International Symposium on Applied Science (ISAS), Ho Chi Minh city, Viet
Nam, 2019.
Научных семинарах кафедры «Автоматизированные системы управления» в
федеральном государственном бюджетном образовательном учреждении высшего
образования «Томский государственный университет систем управления и
радиоэлектроники» в 2015 – 2019 гг.
Основные результаты диссертационного исследования апробированы в
научных исследованиях двух учреждений (Midas Core Pte LTD, Singapore; Center of
Education and Technology Transfer VIET4C, Viet Nam) и в учебный процесс в 1
образовательном учреждении (Кафедра АСУ ТУСУР).
Публикации по теме работы. По материалам диссертационных исследований
опубликовано 12 работ, в том числе 5 публикаций в изданиях, включенных в
перечень ведущих рецензируемых научных журналов и изданий, рекомендованных
ВАК Российской Федерации; 1 публикация в WoS, 2 публикации в Scopus.
Структура и объём работы. Диссертация состоит из введения, 4 глав,
заключения, списка литературы. Объем диссертации составляет 112 страниц,
включая 39 рисунков, 5 таблиц и список литературы из 118 наименований.
1 ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ: ОСНОВНЫЕ
ДОСТИЖЕНИЯ И ПРОБЛЕМЫ, НЕОБХОДИМОСТЬ СОЗДАНИЯ