Исследование и разработка методов построения инфраструктуры и предоставления услуг сетей связи на основе технологий искусственного интеллекта

Во введении обоснована актуальность диссертационной работы, описано состояние исследуемой проблемы, сформулированы цели и задачи работы, перечислены основные научные результаты диссертации, определена научная новизна и практическая ценность результатов, описана область их применения, представлены основные положения, выносимые на защиту, приведены сведения об апробации работы, публикациях по теме работы, описана структура диссертации и ее объем.
В первой главе был проведен анализ концепций современных и перспективных сетей связи, в том числе учитывая долгосрочную до 2030 года перспективны. Было определено, что сети 5G/IMT-2020 и последующего поколения, сети связи 2030, обладают такими новыми характеристиками как «ультрамалые задержки», «сверхнадежная связь», «сверхплотные сети», что требует разработки новых методов их построения. Требуется рассмотреть новые технологии и методы построения сетей связи и систем предоставления услуг, такие как Программно-конфигурируемые сети, Виртуализация сетевых функций, граничные вычисления с множественным доступом (MEC), туманные вычисления, микросервисный принцип проектирования ПО услуг. Требуется изменение принципов управления сетью и услугами через применение технологий ИИ. Были определены особенно актуальные вопросы и сформулированы в формате следующих задач: однозначная эффективная идентификация трафика на уровне передачи данных, прогнозирование нагрузки на контроллеры Программно- конфигурируемых сетей, эффективное распределение вычислений на уровне туманной инфраструктуры и пограничных вычислений с множественным доступом.
Во второй главе диссертационной работы был проведен анализ и сформулирован вывод о том, что Сети связи с ультрамалыми задержками и требования к ним задают вектор развития сетей и услуг в сторону их децентрализации. Данный класс сетей призван обеспечить работу новых типов
6
услуг, таких как, Тактильный Интернет, Медицинские сети, Цифровые Аватары, беспилотный транспорт и так далее. Для достижения поставленных требований необходимы изменения не только в технологиях построения сетей связи и услуг, но и изменения в методах мониторинга и управления трафиком, в задачи которого включается в том числе идентификация типа трафика.
Учитывая возможность программируемости SDN сетей и функциональные возможности протокола управления OpenFlow, был разработан метод идентификации трафика в сетях связи на основе метаданных потоков и искусственной нейронной сети. Стоит отметить, что для заранее зарегистрированных потоков трафика не стоит задача его распознавания, например, трафика VoIP или IpTV. В данной работе рассматривается задача выявления трафика Интернета Вещей в сети SDN из общих (заранее не зарегистрированных) потоков.
Проведение исследований предлагаемого метода включает в себя разработку приложения контроллера SDN, его тестирование. Для данных работ необходимо разработать лабораторный стенд Программно-конфигурируемых сетей, с поддержкой северного программного интерфейса, а также развернутых на нем сервисов Интернета Вещей, который будет эмулировать работу одного из приложений Умного города, а также сервис потокового видео.
В данной работе предлагается реализация аналитической системы на сервисном уровне инфраструктуры SDN. Система может быть представлена как АПК, так и ПО контроллера (рисунок 1).
Рисунок 1 – Принципиальная архитектура
Таким образом, появляется возможность переносимости системы, независимости от среды передачи данных и тем более интеграции с уровнем передачи данных. Для аналитической системы все устройства и потоки являются «цифровым объектом», имеющим ряд параметров и функций, представленных набором методов. Такой уровень абстракции позволяет реализовать систему аналитики, которая будет работать с данными о потоках (метаданных) в режиме «На
Пусть, PacketCount_delta – PC ,
ByteCount_delta – BC , a
TimeStamp_deltas – TS = 1 [sec.] = const, тогда:
TimeStamp
DataSet TimeStamp
ByteCount ByteCount ByteCount
PacketCount PacketCount PacketCount
(1.1)

TS BC PC ………
TS BC PC
лету». Таким образом, данная система позволит не вносить дополнительных задержек в трафик, а также каким-либо образом изменять его активность. Можно сказать, что система «наблюдает» за активностью потоков и составляет «общую картину» происходящего в подконтрольной сети связи. Если проанализировать данные, которые отображаются в двух глобальных частях таблицы OpenFlow: Match Field и Actions, то можно прийти к выводу, что на их основе можно составить метамодель потоков.
Одной из важных особенностей этих данных является то, что на основе счетчиков «Byte Count» и «Packet Count» нельзя точно определить точную длину пакета в потоке. Так как за один момент времени счетчики могут быть равны: «Byte Count» – 1500, «Packet Count» – 2. Соответственно, на основе этих данных нельзя точно определить длину каждого из пакетов, зарегистрированных в потоке за промежуток времени: ΔT = 1 [с].
Таким образом, за произвольный период времени ΔT, имея отсчеты значений [Byte Count], [Packet Count], [TimeStamp] возможно составить набор данных с установленной структурой данных, где каждый отсчет отображает мгновенное значение [ByteCount_delta] и [PacketCount_delta]. Структура формируемого на основании запросов DataSet c «сырыми» данными (1.1) и формула (1.2) его преобразования в требуемый формат DataSet c мгновенными значениями (1.3) приведены ниже.
TimeStamp ………
TimeStamp ByteCount PacketCount
_ , 1 (1.2) _ , 1
TimeStamp ByteCount PacketCount DataSet TS BC PC
(1.3)
При этом расчет суммарных значений параметров за установленный промежуток времени производится по следующим формулам (1.4, 1.5):
DataSet

IoT TS BC PC
IoT TS BC PC (1.6) …………

∑ / (1.4);

∑ /

(1.5);

В качестве искусственной нейронной сети была выбрана рекуррентная нейронная сеть с дополнительными слоями LSTM (с англ. – долговременной краткосрочной памятью). В данной работе глубинный модуль LSTM, как часть искусственной нейронной сети (ИНС) позволяет выявлять закономерности влияния данных предыдущих отсчетов на текущие с учетом большого разброса значений между ними.
Структура обучающего набора данных DataSet выглядит следующим образом (формула 1.6):
TypeOfTraffic TimeStamp ByteCount PacketCount
Video TS BC PC
others TS
BC PC
Архитектура сети содержит 2 полносвязанных глубинных уровня LSTM и 2 полносвязанных глубинных уровня RNN (Recurrent Neural Network, с англ. Рекуррентная нейронная сеть), каждый из которых содержит 7 скрытых нейронов.
Параметры тренировки ИНС:
 Оптимизатор: Adam;
 Количество эпох обучения: 40;
 Количество образцов на итерацию: 1024;
 Скорость обучения: 0,0025.
В течении процесса обучения нейронной сети приложением наблюдались следующие параметры: Train Accurancy (Точность обучения); Test Accurancy (Точность прохождения теста ИНС); Train loss (Ошибки во время обучения); Test loss (Ошибки во время прохождения теста ИНС).
График, отображающий данные параметры в процессе прохождения эпох обучения, приведен на рисунке 2. В дополнении, на рисунке 3 – приведено приближение (увеличен масштаб части графика на рисунке 2) для более детального отображения разницы между графиками.
Кроме выше приведенных графиков, приведенных на рисунках 2 и 3 – была рассчитана матрица противоречий ИНС (в терминологии ИНС с англ. – Confusion Matrix) обучения искусственной нейронной сети. Получившаяся матрица приведена на рисунке 4 (см. ниже).
9
Рисунок 2 – График обучения и тестирования ИНС
Рисунок 3 – График обучения и тестирования ИНС (масштаб)
На рисунках 2 и 3, где отображен
процесс обучения сети, хорошо видно, что
для поставленной задачи разработанная
ИНС успешно прошла процесс обучения. В
результате процесса обучения нейронной
сети и проверки ее работы на тестовых
наборах данных в обученном состоянии
разработанная нейронная сеть может
идентифицировать генерируемый поток
Интернета Вещей с вероятностью 99,7 %.
Результат тестирования показал
работоспособность разработанного метода по факту идентификации трафика.
В третьей главе диссертационной работы приводится исследование причин и обоснование необходимости перехода к децентрализации облачных вычислений как части вычислительно-сетевой инфраструктуры сетей связи пятого и последующего поколения.
Рисунок 4 – Матрица противоречий (Confusion Matrix)
На рисунке 5 приведен предлагаемый фреймворк/структура взаимодействия распределенных вычислений с микросервисной поддержкой. Данный фреймворк призван объединить облачные структуры многоуровневых пограничных вычислений и туманных вычислений, а также сетевую инфраструктуру, построенную на основе технологий SDN/NFV, учитывая в том числе уровень оркестрации.
Рисунок 5 – Предлагаемый фреймворк/структура взаимодействия
В данном случае рассматривается подход к управлению через северный инфраструктурный интерфейс сети. Благодаря уровню абстрагирования от физических ресурсов, есть возможность создания служебных приложений- сервисов, которые реализуют системную и бизнес-логику оператора по управлению устройствами инфраструктуры. В данной главе также приводится типовая микросервисная архитектура ПО для высоконагруженных программных продуктов, и пример работы микросервисной услуги.
В данной диссертации рассматриваются: задача определения центра пользователей и задача определения устройства туманных вычислений для последующей миграции микросервиса.
Одним из исходных условий в рамках данной диссертационной работы также является статичность устройств ИВ, смартфонов и других устройств, образующих Fog-зоны. Радиусом кластера будет считаться расстояние между центром и самой удаленной точкой в кластере. В данной работе координаты x, y, z измеряются в метрах. Три плоскости позиционирования были выбраны для учета высоты
11
нахождения пользовательского устройства с целью корректного формирования соответствующих кластеров.
Работа выбранного алгоритма производится в следующие пять шагов:
1. Задаются входные данные: координаты x, y и z точек. Также задаются количество кластеров и их первоначальные центры.
Присвоение пользователей (пользовательских устройств) к ближайшим центрам кластеров. Для этого используется Евклидова метрика расстояния между
точками в пространстве: , где x, y, z – координаты самой точки.
2. Определение центров масс: ∑ , ∑ , ∑ , где l –
количество Fog-устройств, входящих в кластер.
3. Сравнение центров масс и предполагаемых центров кластеров.
4. Если центры масс и предполагаемые центры кластеров равны, то центры
кластеров считаются окончательно определенными и все приписанные к ним пользователи помечаются как элементы данного кластера. Если они не равны, то шаги 2–4 повторяются заново, но с предполагаемыми центрами кластеров равными центрам масс, определенным на данной итерации.
Второй исследуемой задачей в рамках данной диссертационной работы является задача определения тех Fog-устройств, которые имеют свободные необходимые вычислительные возможности и удовлетворяют условиям миграции на них микросервиса(-ов) с последующим развертыванием и включением в общую архитектуру. Для задач нахождения глобального максимума или минимума используют так называемые алгоритмы глобальной оптимизации. К одному из таких алгоритмов относятся алгоритмы роевого интеллекта – PSO (на англ. Particle Swarm Optimization).
Таким образом, данный алгоритм определяется следующим образом:
Каждая отдельная частица i состоит из трех векторов: её положение в D-мерном пространстве поиска , , … , , лучшая найденная позиция, , , … , , направленная скорость движения , , … , . При запуске алгоритма, частицы равномерно, случайным образом инициализируются по всему пространству поиска, при этом скорость частиц также инициализируется случайным образом. Сформированные частицы перемещаются по пространству поиска с помощью довольно простого набора уравнений обновления векторов частицы. Алгоритм обновляет весь рой на каждом временном шаге, обновляя скорость и положение каждой частицы в каждом измерении по следующим правилам:
; (2.1) ; (2.2)
11
где c – постоянная ускорения. и – случайные числа в пределах [0; 1]; – лучшее положение из пройденных всеми частицами; – это положение, найденное любой соседней частицей. Процесс обновления кратко описан в алгоритме, представленном в виде таблицы 1 в формате псевдокода.
Таблица 1. Краткое описание алгоритма Алгоритм обновления в PSO
for каждого шага t do
for каждой частицы i в рое do
обновить позицию xt используя выражения (3.3.6.1) и (3.3.6.2)
рассчитать фитнес-функцию для xt f (xt )
обновить pi , pg end for
end for
Для решения текущей задачи в настоящей диссертационной работе были определены параметры, описывающие Fog-узел с точки зрения обеспечения качества обслуживания. Глобально задача сформулирована следующим образом: необходимо поддерживать время обслуживания за счет выбора Fog-узла, на который необходимо мигрировать микросервис. Таким образом, минимизированная фитнес-функция выглядит следующим образом:

∙ ,
где: T – рассчитываемый параметр в [мс], – вес соответствующего параметра, – параметры, описывающие состояние Fog-устройства, n – количество таких параметров.
В данной диссертационной работе используются два параметра:  (задержка распространения),
 (время обработки запроса микросервисом).
Так как оба параметра имеют одинаковое влияние на оцениваемый параметр, вес каждого из параметров ( равен 0,5, при этом сумма весов не должна превышать 1. Данные параметры рассчитываются в [мс], соответственно, нет необходимости их приводить в одну область значений, как это требуется при оценке параметров с различных областей определения.
В результате, в рамках данной работы фитнес-функция выглядит следующим образом:

∙ 0,5 ∙ 0,5 ∙ .
пределах:
Первый параметр определяется через тайм-трекер на уровне фреймворка. А второй параметр отправляется устройством – время обработки задачи.
Рисунок 6 – Результат работы алгоритма К-средних
Для моделирования предложенных алгоритмов были разработаны программные модели на основе языка программирования Python. Результат работы алгоритма К-средних отображен на рисунке 6.
Согласно заданной фитнесс-функции и описанному алгоритму PSO были получены результаты для 5-го кластера, которые представлены на рисунке 7. Данные были сгенерированы в следующих
∈ 0.5, 10 , ∈ 0.2, 2 .
Результат работы алгоритма PSO, показал, что 13-е Fog-устройство (отмечен зеленым крестиком на рисунке 7) с показателями 1.18 , 0.76 и значением фитнесс-функции 0,97, имеет наименьший искомый показатель для дальнейшего размещения микросервиса на нем, а также удовлетворяет необходимым вычислительным и сетевым потенциалом.
Рисунок 7 – Визуализация данных расчета фитнесс-функции и результата моделирования алгоритма роевого интеллекта – PSO
Оценка эффекта применения алгоритма выбора Fog-устройства относительно времени выполнения функции микросервисом.
Таким образом, минимальное время выполнения функции на определенном Fog-устройстве:
функц.мин 1.18 0.76 1.94  2 мс .
Если же осуществлять выбор Fog-устройства равновероятно из всего набора
устройств (в рассматриваемой Fog-зоне – 50 устройств), то время выполнения 13
функции может быть оценено средним значением фукц.сред.. Рассчитаем данный параметр по нижеследующей формуле:
1 1 фукц.сред. функц .

Учитывая сгенерированные данные в модели выше, среднее время выполнения функции микросервисом при равновероятном распределении функции на устройства Fog-зоны составляет фукц.сред. 6.43 мс .
Произведем точечную оценку эффекта применения алгоритма выбора Fog- устройства относительно времени выполнения функции микросервисом через отношение полученного минимального времени выполнения функции микросервисом функц.мин к среднему значению выполнения, в случае
равновероятного выбора устройства фукц.сред.
функц.мин ∙ 100% 30,90%
фукц.сред.
Таким образом, в третьей главе было определено, что применение алгоритма роевого интеллекта (PSO) в предложенном фреймворке позволяет уменьшить время выполнения функции микросервиса за счет рационального распределения ресурсов на величину до 70% относительно равновероятного распределения ресурсов.
В четвертой главе был проведен анализ проблемы мониторинга контроллеров SDN. Приводится вывод о необходимости проведения мониторинга и прогнозирования нагрузки на контроллеры SDN с целью обеспечения устойчивости системы в условиях жестких рамок качества обслуживания предоставляемых услуг. В четвертой Главе был предложен метод мониторинга и прогнозирования нагрузки на контроллер SDN путем.
С целью подтверждения гипотезы о возможности прогнозирования нагрузки на вычислительные ресурсы контроллера SDN на основе метаданных суммы служебных потоков уровня управления был предложен метод проверки через применение многопараметрического корреляционного анализа. Для апробации был разработан стенд (рисунок 8) модельной программно-конфигурируемой сети, где на первой стадии был реализован метод многопараметрического корреляционного анализа с целью проверки выдвинутой гипотезы.
Метод многопараметрического корреляционного анализа достаточно подробно изложен в пункте диссертации 4.2.2 «Исследуемая модель и обоснование работоспособности метода через многопараметрический анализ».
15
Рисунок 8 – Схема стенда
На рисунке 9 отображены наиболее интересующие результаты относительно взаимосвязи параметров ByteCount и нагрузки CPU. На графике 1 отображена естественная зависимость между двумя параметрами, которые напрямую связаны, для примера оценки параметров. На графике 2 рисунка 9 отображены распределения взвешенных оценок уже различных параметров, которые необходимо оценить с точки зрения зависимости изменений и можно сделать вывод, что согласно графику No2, существует зависимость между изменениями параметра ByteCount суммы служебных потоков и нагрузки на центральный процессор контроллера Программно-конфигурируемой сети.
Рисунок 9 – Точечный график распределения взвешенных оценок
Для оценки уровня коррелированности исследуемых величин рассчитывается коэффициент корреляции. В таблице 2 приведены рассчитанные показатели корреляции между величинами, отображенными на графиках рисунка 9.
Таблица 2 – Матрица коэффициентов корреляции
| |
значение 0.98 0.89
Все полученные значения коэффициентов корреляции удовлетворяют следующему свойству | |>0 и | |<1. На основе данного свойства возможно сделать следующий вывод: существует связь между исследуемыми параметрами, и при этом чем больше величина коэффициента корреляции, тем в большей степени по значениям одного параметра возможно построить прогноз значения другого. Из полученных значений в данной работе интересует значение коэффициента 15 корреляции между | равный 0,89 соответственно. Значение данного показателя позволяет сделать вывод о существовании зависимости между активностью служебных потоков OpenFlow и нагрузкой аппаратной части SDN- контроллера. При этом, стоит отметить, что явной линейной зависимости между ними нет. При этом полученный результат позволяет сделать вывод о том, что предложенный метод мониторинга и прогнозирования нагрузки на котроллер может эффективно работать. В данной диссертационной работе рассматривается возможность реализации мониторинга нагрузки контроллера SDN при помощи интеллектуальной аналитики метаданных только группы служебных потоков OpenFlow. Схема сегмента с объектами исследования представлена на рисунке 10. Во второй главе была подмечена возможность составления метаданных потоков на основе двух глобальных частей таблицы потоков SDN-коммутатора, а именно: Match Field и Actions. Рисунок 10 – Архитектура сегмента с объектами исследования В качестве метода прогнозирования данных в четвертой главе было предложено использование ИНС. Архитектура предложенной ИНС отображена на рисунке 11. Нейронная сеть получает на вход данные фиксированной длины, для этого изначальный набор данных делиться на сегменты по 200 строк. Также исходный набор данных разделяется на два набора данных: обучающий и практический (тестовый), в соотношении 8:2. Архитектура нейронной сети является полностью рекуррентной и содержит 4 полносвязанных вложенных уровня нейронов, каждый из которых состоит из 10 нейронов. Параметры обучения Искусственной Нейронной Сети:  Оптимизатор:Adam.  Количествоэпох:20.  Количество образцов на итерацию: 1024.  Скоростьобучения:0,0025. Рисунок 11 – Архитектура ИНС В процессе обучения Искусственной Нейронной Сети (оценки точности прогнозирования нейронной сети), в качестве параметра оценки работы, наблюдался параметр MSE – Mean Square Error (с англ. среднеквадратическая ошибка). Изменение значения параметра MSE приведено на рисунке 12: 1 , где Y – вектор наблюдаемых значений прогнозируемой переменной, – вектор спрогнозированных значений. Другими словами, MSE это среднее квадратов ошибок прогноза. В результате практического эксперимента было определено, что выбранная архитектура и параметры нейронной сети удовлетворяют для формирования прогнозирования нагрузки. В конечном итоге, получились следующие параметры: 4,54 ∗ 10 , 1,5 ∗ 10 . Также, в процессе обучения нейронной сети, отслеживался процесс ее обучения на формирование прогнозов. Для наглядности процесса, строился график реальных и спрогнозированных значений нейронной сети на промежутке данных в 20 тыс. отсчетов. На рисунке 13 приведены несколько снимков экрана в процессе обучения нейронной сети, отображающие ее прогресс. В каждой из областей (графики No 1–4), приведенных на рисунке 13, есть два графика синего и зеленого цвета, отображающие реальные значения и спрогнозированные. График No1 на первой линии рисунка 13 с подписью (Epoch 0, Batch 0) отображает реальный и первый прогноз. На графике видно, что спрогнозированные значения сильно отличаются от реальных. То есть график зеленого цвета сильно ниже основного – синего графика. Нижние два графика (график No3 и график No4), 18 с подписями (Epoch 19, Batch 250), (Epoch 19, Batch 300) соответственно отображают последние шаги обучения сети. По данным графикам видно, что Искусственная Нейронная Сеть обучилась и теперь может корректно прогнозировать активность суммы служебных потоков OpenFlow в реальной программно-конфигурируемой сети на уровне управления. Видно, что на последнем (нижнем правом графике No4), реальный график визуально совпадает с прогнозированным. Рисунок 13 – Процесс обучения Искусственной Нейронной сети ЗАКЛЮЧЕНИЕ В ходе выполнения настоящей диссертационной работы автором получены следующие основные результаты: 1. Был проведен анализ концепций современных и перспективных сетей связи, в том числе учитывая долгосрочные до 2030 года перспективы. Особенно был выделен класс сетей связи, имеющий такие характеристики, как «ультрамалые задержки», «сверхнадежная связь», «сверхплотные сети». 2. Так как определена необходимость обеспечения в характеристиках, указанных в п. 1, требуется рассмотреть новые технологии и методы построения сетей связи и предоставления услуг, таких как: Программно-конфигурируемые сети, Виртуализация сетевых функций, граничные вычисления с множественным доступом (MEC), туманные вычисления (Fog), а также методы разработки и реализации программного обеспечения услуг, в частности – микросервисный архитектурный подход. 19 3.Было установлено, что сети связи с ультрамалыми задержками и требования к ним формируют вектор развития сетей и услуг в сторону их децентрализации. 4. Кроме озвученных в п. 2 методов и технологий построения сетей связи пятого и последующих поколений, требуется изменение принципов управления сетью и услугами через применение технологий Искусственного Интеллекта. В данном направлении установлено, что особенно актуальными вопросами являются: однозначная идентификация трафика на уровне передачи данных, прогнозирования данного трафика, прогнозирование нагрузки на контроллеры Программно- конфигурируемых сетей, и эффективное распределение вычислений на уровне глубоко интегрированной туманной инфраструктуры и пограничных вычислений с множественным доступом. В диссертационной работе предложены методы решения данных задач. 5. В данной диссертации было проведено исследование современных архитектур относительно построения перспективных услуг в сетях связи. Было определено, что микросервисный архитектурный подход является одним из самых актуальных и реализующих необходимые требования к современному программному обеспечению, в том числе к программному обеспечению современных и перспективных услуг связи. Особенно обращается внимание на услуги сетей связи с ультрамалыми задержками и сверхнадежностью. 6. Была предложена структура/фреймворк взаимодействия распределенных туманных вычислений и пограничных вычислений с поддержкой микросервисных услуг . 7. В рамках предложенного фреймворка были рассмотрены две задачи, а именно: определение центра скопления пользователей, а также определение Fog- устройства, которое будет выбрано для живой миграции микросервиса услуги. На основе анализа были определены математические алгоритмы решения поставленных задач, такие как: К-средних и Роевого Интеллекта (PSO), которые в свою очередь входят в класс алгоритмов, относящихся к Искусственному Интеллекту. Полученные данные в результате программного моделирования показывают работоспособность предложенных алгоритмов с точки зрения фреймворка и перспективность развития данного решения. 8.Был предложен метод мониторинга и нагрузки контроллеров Программно-конфигурируемых сетей путем аналитики метаданных суммы служебных потоков OpenFlow уровня управления. 9. Для апробации предложенного метода прогнозирования был разработан стенд модельной программно-конфигурируемой сети, где на первой стадии был реализован метод многопараметрического корреляционного анализа с целью проверки гипотезы об использовании метаданных служебных потоков, результат тестирования которого подтвердил работоспособность предложенного метода. На 20 второй стадии был реализован метод прогнозирования потоков служебного трафика в программно-конфигурируемой сети, позволяющий оценить нагрузку на контроллеры SDN. В результате обучения и тестирования разработанной ИНС, значение MSE в тестовом варианте составил MSETEST = 1,5 ∙ 10 , что является достаточно высоким показателем. Стоит также отметить, что предложенный метод позволяет исключить зависимость мониторингового ПО от особенностей АПК- решений производителей.