Модели и методы проектирования сетевой архитектуры глубокой инспекции пакетов
Введение
Глава 1. Эволюция методов и средств анализа сетевого трафика
1.1 Анализ подходов к расчету сетей и систем связи XX века
методамимассовогообслуживания
1.2 Анализ методов расчета мультимедийного трафика для сетей NGN
1.3 Методыимитационногомоделирования . . . . . . . . . . . . . .
1.4 Методы анализа мультимедийного трафика в сетях NGN . . . .
1.5 Глубокаяинспекцияпакетов
1.6 Постановказадачисследования
1.7 Выводыпоглаве1
Глава2. МодельсетевойархитектурыDPI . . . . . . . . . . . . .
2.1 ФизическаямодельDPI
2.2 Формализованная функциональная модель DPI . . . . . . . . .
2.3 Влияние характеристик поступающего трафика на систему DPI
2.4 Математическая модель сетевой архитектуры DPI . . . . . . . .
2.4.1 Подход к построению математической модели системы DPI
2.4.2 Развитие модели описанной в трудах Норроса для
расчетааппаратногофильтра
2.4.3 Расчет СМО2 на базе модели с бесконечной очередью и
равномернымвзаимодействием
2.4.4 МатематическаямодельDPI
2.5 Численные результаты расчетов сетевых архитектур DPI . . . .
2.6 Выводыпоглаве2
Глава 3. Построение эффективных сетевых архитектур глубокойинспекциипакетов
3.1 Построение эффективных сетевых конфигураций DPI . . . . . .
3.1.1 Особенности нахождения подходящего числа устройств насерверахсистемыDPI
Стр
4.2.1 Построениеимитационноймодели
4.2.2 Результаты работы имитационной модели . . . . . .
4.2.3 Применение имитационной модели DPI . . . . . . .
4.3 Увеличение производительности существующих технических решений систем DPI систем . . . . . . . . . . . . . . . . . .
…113 …123 …130
. .
. .
4.4 Сравнение результатов математического и имитационного моделирования . . . . . . . . . . . . . . . . . . . . . . . . .
4.5 Рекомендации по проектированию сетевой архитектуры DPI
3.1.2 Программная реализация поиска на основе метода ММЭ дляСМО
3.1.3 Программная реализация поиска на основе метода Хука-ДживсадляСМО
3.1.4 Особенности поиска методами ММЭ и MHJ
одновременно для нескольких СМО в системе DPI . . .
3.2 Расчет числа обслуживающих устройств в серверах системы DPI
3.3 Выводыпоглаве3………………………107
Глава 4. Имитационная модель сетевой архитектуры DPI . . .
4.1 Анализ систем имитационного моделирования . . . . . . . . . .
4.2 ИмитационнаямодельDPI ………………….113
…138 4.6 Выводыпоглаве4………………………143
Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Списоксокращенийиусловныхобозначений . . . . . . . . . . . .
Списоклитературы ………………………..151 Списокрисунков ………………………….165 Список таблиц . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Приложение А. Политики управления трафиком . . . . . . . . .
Приложение Б. Потоки трафика . . . . . . . . . . . . . . . . . . . .
Стр
4
Приложение В. Математическое описание трафика с помощью FBM . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Приложение Г. Метод проектирования архитектуры системы DPI при заданных характеристиках сетевого
трафика ……………………..177
Г.1 Получениеисходныхпараметров……………….177
Г.2 Расчетматематическоймодели………………..181
Г.3 Методика оценки эффективности вариантов аппаратного
составасерверовсистемыDPI ………………..183
Г.4 Имитационноемоделирование ………………..186
Приложение Д. Результаты анализа системы DPI с помощью математическоймодели …………….188
Приложение Е. Результаты анализа системы DPI с помощью имитационноймодели ……………..189
Приложение Ж.Программный код с применением метода ММЭ 190
Приложение И. Приложение К
Приложение Л
Приложение М
Приложение Н. Приложение П. Приложение Р
Программный код функции метода ММЭ . . .
Программный код функции
модернизированного метода Хука-Дживса . . .
Вывод результатов работы программы методом
ММЭ . . . . . . . . . . . . . . . . . . . . . . . . . . .
Вывод результатов работы программы
модернизированным методом Хука-Дживса . .
Функция стоимости . . . . . . . . . . . . . . . . . .
Алгоритмы работы серверов DPI в ИМ . . . . .
Программный код ИМ системы DPI в GPSS
World . . . . . . . . . . . . . . . . . . . . . . . . . . .
Во введении обоснована актуальность темы, сформулированы цель и
задачи работы, изложены основные положения, выносимые на защиту.
В первой главе диссертационной работы проведен анализ эволюции
подходов к расчету систем массового обслуживания (СМО) для телефонных
сетей, а затем для мультимедийного трафика.
Обращается внимание на то, что в пакетной сети поток данных не является
простейшим, что приводит к неточным результатам при его описании
классическими методами теории телетрафика. Пакетный трафик является
самоподобным или фрактальным по своей структуре и обладает длительным
последействием («тяжелым хвостом»). Самоподобный пакетный трафик принято
описыватьраспределениямиПаретоиВейбулла,либофрактальным
Броуновским движением (FBM, fractional Brownian motion) [3]. Рассмотрены
сложности в применении ряда математических моделей при описании СМО с
поступающим самоподобным трафиком. Например, необходимость в расчете
СМО с несколькими обслуживающими устройствами не позволяет использовать
модель G/G/1. Подробнее говорится про подход описания СМО с входящим
потоком пакетного трафика, представленного FBM, изложенный в статьях
Норроса. Так в [15] приводятся формулы вероятности ожидания в очереди и
числа заявок в системе для такого подхода.
Анализируется ряд используемых на сетях технологий инспектирования
пакетов. Отмечается, что системы анализа трафика эволюционировали от
определения трафика приложений на основе транспортного порта до глубокой
инспекции пакетов.
Описываются действия, выполняемые системой DPI: распознавание
приложений по потоку пакетов, мониторинг трафика, сбор статистики,
ограничение скорости трафика и другие. Поток (связанный с определенным
приложением или протоколом) идентифицируется с помощью адресной
информации 2-4 уровней эталонной модели взаимодействия открытых систем.
Приведены способы анализа потока пакетов: сигнатурный, статистический,
поведенческий и прочие, по завершению которых, к потоку трафика,
проходящему через DPI, применяется набор правил по его обработке,
называемый политикой. Подробно рассматриваются особенности расположения
систем DPI на сетях связи, возможности технологии DPI, в том числе для
маркетинговых целей, важность применения для осуществления контроля над
сетевым трафиком.
Дается описание трех режимов работы системы DPI. Согласно первому
режиму трафик не пропускается до завершения его анализа. Во втором режиме
пакеты неизвестного потока пропускаются согласно политике «по умолчанию»,
пока не будет получена уточненная политика. В третьем режиме пакеты потока
буферизируются и пропускаются только по завершению анализа [3, 4, 6]. Когда
на систему DPI поступает копия трафика, то система не оказывает влияния на
качество обслуживания [2], но такой способ подключения усложняет
применение политик.
С учетом необходимости и высокой стоимости систем DPI большое
значение имеют модели и методы расчета и проектирования параметров системы
DPI для каждого конкретного случая. Данная диссертация посвящена решению
Актуальность темы. Революционное преобразование современных инфокоммуникационных сетей при переходе к сетям следующего поколения (NGN, next generation networks) привело к усложнению задач по оценке потока требований и расчету систем обслуживания (от маршрутизаторов до серверов IMS (IP multimedia subsystem)).
Традиционно сети передачи данных в основном обслуживают потоки информации по принципу BestEffort. Такой подход не нуждается в глубокой инспекции пакетов. Появление в 2003 году приложения Skype для осуществления видеосвязи, использующего различные способы обхода традиционных шлюзов сетевой безопасности, стало первым вызовом для традиционной сети передачи данных, как с точки зрения качества предоставления связи, так и для средств оперативно-розыскных мероприятий (СОРМ). Вслед за Skype произошел лавинообразный рост услуг предоставляемых поверх сетей провайдеров (OTT, over the top). Появились программы обмена мгновенными сообщениями WhatsUp, Viber, Telegram, вслед за ними возникли многочисленные видеосервисы. К мультисервисной сети подключились смартфоны с широкополосным доступом. Образовалось множество социальных сетей с мультимедийным контентом. Массовыми стали облака с мультимедийной информацией.
Тем не менее, такой бурный рост трафика и разнообразия услуг в современных мультисервисных сетях NGN/IMS порождает новую серьезную проблему, связанную с анализом разнотипного трафика в этих сетях. Сеть передачи данных изменилась. Теперь необходимо оказывать приоритетную обработку потоков информации. Несмотря на наличие нескольких механизмов приоритезации трафика, современное оборудование сети передачи данных не отличает данные разных приложений. Ранее такое распределение велось на основе выделения тех или иных транспортных портов при передаче пакетов, однако в силу вышеупомянутого усложнения сети современное программное обеспечение уже не придерживается правил распределения портов. Сегодня основанием выбора приоритета становится приложение, являющееся источником данных. Для надежного определения приложения по потоку информации необходима инспекция пакетного трафика. Этим обусловлено возникновение принципиально новых сетевых элементов – устройств глубокой инспекции пакетов (DPI, deep packet inspection), которые анализируют и сортируют потоки информации, а также могут обеспечивать сетевую безопасность, предоставлять информацию для направленной рекламы, использоваться совместно с системами СОРМ и выполняют ряд других важнейших сетевых функций.
В связи с этим остро стоит проблема выбора значимых (с точки зрения снижения капиталовложений, требуемой скорости работы, сохранения качества обслуживания (QoS, quality of service)) сетевых конфигураций DPI, расчета параметров и архитектуры DPI, получения рекомендаций по проектированию DPI. Такие вопросы остаются пока малоизученными из-за сложности и новизны этой проблематики. В открытом доступе отсутствуют необходимые математические и имитационные модели для определения параметров архитектуры DPI, совершенствования проектирования систем DPI.
В диссертационной работе исследуется выше указанная проблема, анализируется число обслуживающих устройств в системе DPI, разрабатывается метод расчета систем DPI, который может быть применен для систем с виртуализацией и распределением аппаратных ресурсов по мере необходимости.
В пакетной сети поток данных не является простейшем, что приводит к неточным результатам при его описании классическими методами теории телетрафика. Множество работ сообщают о самоподобности такого трафика, и наличии у него длительного последействия («тяжелого хвоста») [1—7]. Наиболее успешно он описывается распределениями Парето и Вейбулла [4; 8; 9]. Используя классификацию Кендалла, входящий поток пакетной сети обозначаются как общий случай: G (general).
Современные системы обслуживания обычно используют центральный процессор для обработки различных задач, в отличии от узкоспециализированных приборов, обслуживающих каждый одну задачу последовательно. Архитектура с виртуализацией подразумевает выделение необходимой вычислительной мощности виртуальному серверу по мере необходимости в заданных пределах. Система массового обслуживания (СМО) в которой ресурсы процессора распределяются между заявками, описывается моделью processor sharing (PS). К ней близка по принципу работы система в которой несколько приборов совместно обслуживают одну заявку, которая получила название СМО с взаимопомощью. Для описания процесса обслуживания используют экспоненциальное распределение (M) или представляют его в общем виде (G). Сложность расчета современных систем заключается в том, что они обычно описываются классификацией Кендалла как G/G/V (где V – число обслуживающих приборов). При этом хорошо описаны только модели G/M/1 или M/G/1.
С учетом вышеизложенного тема настоящей диссертационной работы представляется безусловно актуальной.
Степень разработанности темы. Существует большое количество работ, посвященных вопросам анализа и классификации сетевого трафика, имеющих непосредственное отношение и к трафику, попадающему в системы DPI. Исследования в этих областях проводили отечественные и зарубежные ученые, в числе которых, Эрланг А., Марков А.А., Клейнрок Л., Шнепс-Шнеппе М.А., Харкевич А.Д., Башарин Г.П., Самуйлов К.Е., Кучерявый А.Е., Гольдштейн Б.С., Соколов Н.А., Вишневский В.М., Росляков А.В., Яшков С.Ф., Пшеничников А.П., Степанов С.Н., Вентцель Е.С., Овчаров Л.А., Одоевский С.М., Шелухин О.И. Гетьман А.И., Niang B., Choudhury G.L., Dainotti A., Sommer R., Dorfinger P., Trammell B., Norros I., Krishna M.P, Grimm Ch. и др.
Близкими к теме исследования являются защищенные в последние годы докторские диссертации Гайдамака Ю.В., Кучерявого Е.А., Киричка Р.В., Маколкиной М.А., Гольдштейна А.Б. и кандидатские диссертации Зарубина А.А., Елагина В.С., Гойхмана В.Ю., Сенченко Ю.Х., Салама Г.М., Саморезова В.В., Дорт-Гольца А.А., Петрова В.В., Комиссарова А.М.
В диссертационной работе были использованы также следующие нормативно-методические документы: ITU-T Y.1540, Y.1541, Y.2770-2775, RFC-2475, RFC-2474, RFC-791, RFC-3168, RFC-2597, RFC-2598, RFC-1633.
Тем не менее, число работ посвященных именно глубокой инспекции пакетов явно недостаточно: единичные работы затрагивают производительность DPI. Вопросы проектирования и моделирования систем DPI остаются малоизученными. Математические и имитационные модели DPI позволили бы более точно проводить расчет необходимого оборудования и в некоторых случаях снизить стоимость систем глубокой инспекции пакетов и избежать сетевых перегрузок при их внедрении. Для частичного достижения этой цели могут использоваться математические модели G/M/V, как описание серверов сетевой архитектуры DPI. С некоторыми ограничениями, для серверов, не обрабатывающих непосредственно пакетный трафик, возможно применение моделей разделения процессора (processor sharing) или моделей с взаимопомощью. К сожалению, недостаточно изучены математические модели позволяющие проводить расчет систем массового обслуживания (СМО) и сетей массового обслуживания (СеМО) для самоподобного трафика с множеством обслуживающих приборов по произвольному закону обслуживания в случае бесконечной очереди, необходимые для расчета систем DPI.
Объектом исследования является система глубокой инспекции пакетов.
Предметом исследования являются характеристики качества функционирования системы глубокой инспекции пакетов с различной сетевой конфигурацией.
Целью диссертационной работы является повышение эффективности проектирования сетевой архитектуры систем глубокой инспекции пакетов в мультисервисных сетях.
Для достижения поставленной цели в диссертационной работе определяются основные факторы, влияющие на вероятностно-временные характеристики (ВВХ) системы, разрабатываются функциональная, математическая и имитационная модели системы DPI, а также метод проектирования сетевой архитектуры удовлетворяющей исходным требованиям эксплуатации.
Таким образом, были поставлены следующие задачи:
1. Определение набора показателей трафика и системы глубокой
инспекции пакетов необходимого для проектирования сетевой
архитектуры такой системы.
2. Разработкаматематическойиимитационноймоделейсистемыглубокой
инспекции пакетов.
3. Разработка методики оценки эффективности вариантов аппаратного
состава серверов системы глубокой инспекции пакетов. Научная новизна: Научная новизна исследования состоит в разработке моделей, описывающих сетевую архитектуру системы глубокой инспекции пакетов, и методов проектирования системы DPI.
1. Формализованы соотношения интенсивности заявок поступающих на различные сервера системы DPI.
2. Для расчета системы глубокой инспекции пакетов предложена математическая модель, состоящая из двух различных математических моделей, полученных на основе трудов Норроса, Вентцель и Овчарова.
3. Разработана новая имитационная модель системы глубокой инспекции пакетов с учетом специфики логики работы СМО в составе системы DPI и взаимодействия между СМО.
4. Разработана методика оценки эффективности вариантов аппаратного состава серверов системы DPI, в основу которой положена новая математическая модель такой системы.
5. В методике оценки эффективности, в дополнение к методу максимального элемента, используется новый модернизированный метод Хука-Дживса, разработанный в данной диссертационной работе.
6.Методика оценки эффективности входит в состав впервые разработанного метода проектирования сетевой архитектуры системы DPI, вместе с этапом определения показателей трафика и системы, а также с верификацией результатов с помощью имитационной модели.
Теоретическая и практическая значимость
Теоретическая значимость работы состоит в получении выражения для времени нахождения заявки в системе DPI, учитывающего показатели трафика и особенности анализа потоков пакетов в системе. Установлена аналитическая зависимость интенсивности поступления заявок на различные сервера системы DPI от интенсивности поступающих на систему пакетов, вероятности поступления пакетов принадлежащих к неизвестным потокам трафика и режимов работы системы. Получена аналитическая зависимость времени нахождения заявки в системе от пропускной способности прибора и других показателей, основанная на модели, изложенной в работах Норроса и формуле Литтла. Разработанная методика позволяет определить число необходимых аппаратных ресурсов и их распределение в сетевой архитектуре систем DPI.
Основным практическим результатом диссертационной работы является разработка метода проектирования сетевой архитектуры систем DPI, позволяющего повысить точность проектирования, обосновать стоимость системы, и в некоторых случаях снизить цену поставляемой системы. Применение особых режимов системы глубокой инспекции пакетов дает возможность повысить параметры качества обслуживания анализируемого трафика. Использование методики оценки эффективности аппаратного состава системы глубокой инспекции пакетов позволяет выявить необходимость модернизации системы, с целью повысить быстродействие и эффективность использования аппаратных ресурсов в такой системе. А так же повысить эффективность работы системы за счет перераспределения аппаратных ресурсов в режиме реального времени.
Полученные в диссертационной работе результаты используются в Научно-техническом центре Протей для расчета необходимого числа процессоров и обоснования выбора предлагаемого решения при установке системы DPI на сетях ряда операторов подвижной и фиксированной связи, в Научно-техническом центре Севентест при мониторинге трафика в сетях ПАО Ростелеком и МГТС, в ПАО Ростелеком при эксплуатации сетей связи и планировании развития ГТС, а также в учебном процессе кафедр «Инфокоммуникационных систем», «Сетей связи и передачи данных» и используются при чтении лекций, курсового проектирования, проведении практических и лабораторных работ по дисциплинам «Методы инспекции пакетов и анализа трафика», «Основы построения инфокоммуникационных систем и сетей», «Основы IP-коммуникаций», «Теория телетрафика», «Имитационное моделирование инфокоммуникационных сетей и систем» для бакалавров по направлению подготовки 11.03.02 «Инфокоммуникационные технологии и системы связи», при чтении лекций по дисциплинам «Проблемы проектирования инфокоммуникационных систем и сетей NGN и пост-NGN», «Математические методы расчета инфокоммуникационных систем» для магистров по направлению подготовки 11.04.02 «Инфокоммуникационные технологии и системы связи» в Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А. Бонч-Бруевича. Методология и методы исследования. Для решения этих задач используются методы теории телетрафика, вычислительной математики, имитационного моделирования.
Основные положения, выносимые на защиту:
1. Набор показателей трафика и системы глубокой инспекции пакетов, необходимый и достаточный для проектирования ее сетевой архитектуры.
2. Математическая и имитационная модели системы глубокой инспекции пакетов.
3. Методика оценки эффективности вариантов аппаратного состава серверов системы глубокой инспекции пакетов.
Достоверность подтверждается корректным использованием математических методов исследования; данными имитационного моделирования; успешным представлением и обсуждением материалов на ряде международных конференций.
Апробация работы. Материалы, входящие в диссертацию, и основные результаты работы, докладывались и обсуждались на ряде всероссийских и международных конференций, в том числе на XXIII Международной научной конференции «Распределенные компьютерные и телекоммуникационные сети: управление, вычисление, связь (DCCN-2020)» (Москва, 2020), XXII Международной научной конференции «Проблемы техники и технологий телекоммуникаций» (ПТиТТ-2020) (Самара, 2020), 28й международной конференции FRUCT (Москва, 2021), на II, V, VI, VII, VIII международных научно-технических и научно-методических конференциях «Актуальные проблемы инфотелекоммуникаций в науке и образовании» СПбГУТ (Санкт-Петербург, 2013, 2016, 2017, 2018, 2019, 2021), на 70, 71, 72, 74 региональных научно-технических конференциях студентов, аспирантов и молодых ученых “Студенческая весна” СПбГУТ (Санкт-Петербург, 2016, 2017, 2018, 2020).
Публикации. Основные результаты по теме диссертации изложены в 23 печатных изданиях, 4 из которых изданы в журналах, рекомендованных ВАК («Вестник связи», «Труды учебных заведений связи»), 2 – в периодических научных журналах, индексируемых Scopus, 2 – свидетельства о государственной регистрации программы для ЭВМ. Личный вклад. Все основные результаты диссертационной работы получены автором лично. Автор принимал активное участие в работе с исходными данными для моделирования в коллективе инженеров. Автором осуществлены формализация интенсивности поступающих заявок на сервера системы DPI, выбор математических моделей и соответствующие расчеты. Автор самостоятельно адаптировал использование формулы Литтла к модели Норроса. Автором разработаны имитационные модели. Автор осуществлял проведение экспериментов, обработал и интерпретировал полученные данные. Автор лично разработал методику по оценке эффективности системы DPI по методу максимального элемента и модернизированному автором методу Хука- Дживса, и ее программную реализацию. Подготовка основных публикаций по выполненной работе велась лично автором или при его значительном участии.
Соответствие паспорту специальности. Данная диссертационная работа соответствует пунктам 3, 4, 5, 11 и 14 паспорта специальности 05.12.13 – «Системы, сети и устройства телекоммуникаций»: «Разработка эффективных путей развития и совершенствования архитектуры сетей и систем телекоммуникаций и входящих в них устройств», «Исследование путей совершенствования управления информационными потоками», «Развитие и разработка новых методов дифференцированного доступа абонентов к ресурсам сетей, систем и устройств телекоммуникаций», «Разработка научно-технических основ технологии создания сетей, систем и устройств телекоммуникаций и обеспечения их эффективного функционирования», «Разработка методов исследования, моделирования и проектирования сетей, систем и устройств телекоммуникаций», соответственно.
Публикации автора в научных журналах
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!