Математическое и алгоритмическое обеспечение для анализа характеристик информационных потоков в магистральных интернет-каналах : диссертация на соискание ученой степени кандидата технических наук : 05.13.01
Введение ……………………………………………………………………………………………………………………….. 5
ГЛАВА 1. Анализ состояния предметной области. Постановка задач исследования ………. 11
1.1. Модели и протоколы, регламентирующие передачу данных в компьютерных сетях
…………………………………………………………………………………………………………………………………11
1.1.1. Эталонная модель OSI ………………………………………………………………………………….. 12
1.1.2. Стек протоколов TCP/IP ……………………………………………………………………………….. 14
1.1.3. Инкапсуляция ………………………………………………………………………………………………. 15
1.1.4. Протокол TCP ………………………………………………………………………………………………. 16
1.1.5. Протокол UDP ……………………………………………………………………………………………… 21
1.1.6. Протокол IP ………………………………………………………………………………………………….. 21
1.2. Dump трафика, как носитель информации о параметрах информационных потоков в
КС …………………………………………………………………………………………………………………………….22
1.3. Программные инструменты для работы с pcap-файлами и методы анализа дампа …24
1.3.1. Программные инструменты для работы с pcap-файлами ……………………………….. 24
1.3.2. Методы анализа трафика ………………………………………………………………………………. 25
1.4. Анализ современных работ по исследованию трафика …………………………………………28
1.4.1. Уровень локальной вычислительной сети ……………………………………………………… 28
1.4.2. Анализ трафика клиент-серверной информационной системы ………………………. 29
1.4.3. Исследование сетевого трафика с целью повышения безопасности
компьютерных систем и сетей ……………………………………………………………………………….. 29
1.4.4. Анализ трафика с целью выявления возникновения аномальных состояний КС
……………………………………………………………………………………………………………………………… 31
1.4.5. Анализ и моделирование трафика в высокопроизводительных КС ………………… 35
1.4.6. Анализ трафика с помощью метода машинного обучения ……………………………… 36
1.5. Анализ результатов исследований Интернет-трафика в низкоскоростных сетях (КС
провайдера, последняя миля)……………………………………………………………………………………..42
1.5.1. Анализ Интернет-трафика в КС Интернет-провайдера ………………………………….. 42
1.5.2. Анализ нагрузки, создаваемой абонентами ADSL при безлимитном доступе в
сеть Интернет ……………………………………………………………………………………………………….. 43
1.6. Анализ результатов исследования Интернет-трафика в высокоскоростных
магистральных КС …………………………………………………………………………………………………….44
1.6.1. Исследование самоподобной структуры Интернет-трафика в беспроводной КС
……………………………………………………………………………………………………………………………… 44
1.6.2. Анализ результатов исследования трафика в магистральном Интернет-канале . 46
1.7. Анализ результатов исследования трафика в смежных уровнях сети ……………………49
1.7.1. Анализ трафика в анонимной сети Tor ………………………………………………………….. 49
1.8. Постановка задачи исследования …………………………………………………………………………53
ГЛАВА 2. Разработка математического и программного обеспечения для анализа трафика,
передаваемого в высокоскоростных магистральных каналах передачи данных ……………… 54
2.1. Анализ особенностей объекта исследования ………………………………………………………..54
2.2. Разработка технология обработки дампа Интернет-трафика …………………………………54
2.2.1. Обоснование выбора программного обеспечения для обработки дампов
Интерент-трафика …………………………………………………………………………………………………. 55
2.2.2. Обоснование выбора операционной системы для анализа дампов Интернет-
трафика …………………………………………………………………………………………………………………. 56
2.2.3. Обоснование выбора самостоятельной реализации программного обеспечения
для лингвистического анализа дампа трафика ………………………………………………………… 58
2.2.4. Результаты экспериментальной проверки работоспособности разработанной
технологии семантического анализа дампов Интетрнет-трафика ……………………………. 62
2.3. Реализация программного обеспечения для обработки данных, извлекаемых из
дампа Интернет-трафика ……………………………………………………………………………………………65
2.3.1. О выборе групп пользователей, создающих информационные потоки …………… 65
2.3.2. Разработка алгоритма идентификации потоков и его программной реализации 65
2.3.3. Оптимизация алгоритма идентификации потоков Интернет-трафика …………….. 68
2.3.4. Аппаратные средства технологии работы с дампом Интернет-трафика ………….. 69
2.4. Реализация механизмов параллельных вычислений для алгоритма идентификации
потоков Интернет-трафика ………………………………………………………………………………………..70
2.4.1. Анализ программных инструментов MATLAB, поддерживающих технологии
параллельных вычислений …………………………………………………………………………………….. 70
2.4.2. Обзор кластеров MATLAB……………………………………………………………………………. 71
2.4.3. Облачный кластер MATLAB суперкомпьютера «Уран» ………………………………… 72
2.4.4. Особенности подготовки кластера для запуска программ………………………………. 73
2.4.5. Запуск программы обработки дампа на кластере …………………………………………… 74
2.5. Выводы по главе …………………………………………………………………………………………………74
ГЛАВА 3. Исследование особенностей информационных потоков в магистральном
интернет-канале …………………………………………………………………………………………………………… 76
3.1. Обоснование выбора количественных характеристики изучаемого магистрального
Интернет-канала………………………………………………………………………………………………………..76
3.2. Перенос данных из дампа Интернет-трафика в рабочее пространство MATLAB …..77
3.3. Выбор методов аппроксимации распределений информационных потоков
магистрального канала ………………………………………………………………………………………………79
3.4. Анализ результатов исследования дампа трафика в разрезе объемов данных,
передаваемых потоками …………………………………………………………………………………………….81
3.5. Анализ результатов исследования дампа Интерент-трафика в разрезе количества
пакетов ……………………………………………………………………………………………………………………..87
3.6. Анализ результатов исследования стационарности информационных потоков в
магистральном интернет-канале ………………………………………………………………………………..92
3.7. Анализ результатов исследования дампа Интернет-трафика в разрезе размера
пакетов ……………………………………………………………………………………………………………………..96
3.8. Выводы по главе ……………………………………………………………………………………………….104
ГЛАВА 4. Оценка адекватности самоподобных моделей Интернет-трафика по
экспериментальным результатам ………………………………………………………………………………… 105
4.1. Анализ показателей Херста накопленных сумм временных рядов Ni , Vi ……………..105
4.2. Статистические свойства первых разностей временных рядов Ni , Vi …………………..107
4.3. Исследование свойств ФБД с ограниченной областью рассеяния ……………………….110
4.3.1. Алгоритм срединного смещения …………………………………………………………………. 111
4.3.2. Алгоритм генерации ФБД с помощью Фурье-фильтрации (АФФ) ……………….. 112
4.3.3. Плотность распределения случайных распределений с ограниченной областью
рассеяния …………………………………………………………………………………………………………….. 114
4.3.4. Анализ фрактальных свойств случайных последовательностей, генерируемых с
использованием случайных чисел с ограниченной областью рассеяния ………………… 115
4.3.5. Исследование взаимного влияния информационных потоков в магистральном
Интернет-канале, создаваемых различными группами пользователей друг на друга 120
4.4. Выводы по главе ……………………………………………………………………………………………….131
Заключение ……………………………………………………………………………………………………………..132
Список литературы ………………………………………………………………………………………………….135
Приложение А. Программа для ЭВМ «Семантический анализатор дампов трафика
информационных потоков в компьютерных сетях» …………………………………………………….. 144
Приложение Б. Распределение случайных последовательностей с ограниченной областью
рассеяния …………………………………………………………………………………………………………………… 173
Приложение В. Непараметрический подход, аппроксимация Розенблатта-Парзена ……… 183
Приложение Г. Библиотеки программных реализаций метода мнимых источников и
аппроксимации Розенблатта-Парзена …………………………………………………………………………. 187
Приложение Д. Программа для ЭВМ «Анализатор-классификатор информационных
потоков дампов трафика компьютерных сетей» ………………………………………………………….. 188
Приложение Е. Свидетельство о регистрации программы для ЭВМ…………………………….. 197
Приложение Ж. Свидетельство о регистрации программы для ЭВМ …………………………… 198
Актуальность темы исследования и степени ее разработанности
Сегодня компьютерные сети (КС) широко используются для передачи различной ин-
формации, контроля и управления различными сервисами в реальном времени, просмотра
телепередач, онлайн покупок и т.д. В связи с увеличением новых классов телекоммуника-
ционных устройств и соответствующих сервисов быстрыми темпами увеличиваются объ-
емы информации, передаваемой через сеть Интернет (Интернет-трафик). Например, по дан-
ным Cisco Visual Networking Index (наглядные показатели Сети) объемы передаваемого Ин-
тернет-трафика увеличились со 100 Г/сутки в 1992 г. до 16 000 Гб/с в 2014 г. [84]. При этом
существенно усложнилась собственно структура передаваемой информации, которая созда-
ется и используется многочисленными пользователями персональных компьютеров, смарт-
фонов, планшетов, телевизоров, бытовой техникой (Интернет вещей) и др.
В этой ситуации закономерно возрастают требования к гибкости и масштабируемо-
сти современных КС свойства, которых оказываются существенно отличными от свойств
КС с классической архитектурой (по сути, статических). Например, традиционные архитек-
туры/дизайны КС оказываются неэффективными в динамических средах. При этом класси-
ческие подходы, ориентированные на распределенное управление устройствами традици-
онных КС (например, виртуальные сети (VLAN)), не соответствуют современному уровню
развития виртуализации серверов и систем хранения данных, а также требованиям круп-
ного бизнеса и сервис-провайдеров (например, AT&T, Verizon, Google, Facebook, Microsoft
и др.). Сложившаяся ситуация в телекоммуникационной отрасли подтверждается, том
числе, данными, содержащимися в аналитическом отчете за 2016 г. компании KPMG [10],
где введены понятия «разрушающий трафик» (т.е. трафик таких объемов, с которыми не
справляется используемое сетевое оборудование) и «разрушительные технологии», кото-
рые создают разрушающий трафик (виртуальная реальность, облачные сервисы, искус-
ственный интеллект, анализ данных в реальном времени и др.).
Для эффективного решения проблем «разрушающего трафика», вопросов проекти-
рования оборудования отвечающего потребностям современных КС, а так же проектирова-
ния КС нового поколения, в том числе и виртуальных программно-конфигурируемых сетей
− SDN (Software-defined Networking), необходимо понимать особенности информационных
потоков, предаваемых в современных КС, механизмы их взаимодействия друг с другом и
влияния на загрузку канала.
Анализ состояния современной теории телетрафика показывает, что имеет место
определенный разрыв между сегодня современным уровнем развития телекоммуникацион-
ных технологий и математическими описаниями информационных процессов в КС, кото-
рый пытаются восполнить большим количеством результатов, проведенных
экспериментальных исследований особенностей информационных потоков в КС, в особен-
ности, высокоскоростных магистральных Интернет-каналах (см., работы О.И. Шелухина
[100,101], В.В. Петрова [75,76], Н.Г. Треногина [96], Е.В. Никуличева [105], M. Soysal, K.
Fukuda, W. Leland, W. Willinger, D. Wilson и др.)
Однако объективный анализ этих работ показал, что проводимы экспериментальные
исследования, зачастую, имеют бессистемный характер. Это проявляется: в отсутствии об-
щепринятой методики исследований Интернет-трафика; их направленности не на проверку,
но на подтверждение тех или иных популярных математических моделей Интернет-тра-
фика (в первую очередь, самоподобных), кроме того:
– при проведении исследований используются устаревшие дампы Интернет-тра-
фика, полученные в 90-х годах ХХ в. [75], на основе анализа которых далее идентифициру-
ются параметры моделей Интернет-трафика, уже утративших свою актуальность [69,57] (в
том числе: искусственный трафик, передаваемый в тех или иных модельных локальных вы-
числительных сетях (ЛВС) [101,64,96], трафик, синтезированный с помощью соответству-
ющих программных инструментов, в которых реализованы классические математические
модели: систем массового обслуживания (СМО) (SPSS [22]), on-off-модель [68], жидкост-
ной модели (ЖМ) [60] и гибридной жидкостной модели (ГЖМ) [61]), а также программных
генераторов трафика (NS-2, NS-3 [41]), свойства которых, как очевидно, существенного от-
личаются от свойств реальных информационных процессов, протекающих в корпоратив-
ных ЛВС или провайдерских магистралях);
– зачастую проводится раздельное изучение свойств информационных потоков,
созданных различными типами источников Интернет-трафика, без учета взаимодействия
данных потоков друг на друга (см., например [58]), что не позволяет достичь полного
представления о процессах, протекающих в КС;
– в большинстве случаях анализ собранной экспериментальной информации
проводится в соответствие со следующей схемой: выбор, зачастую субъективный, той или
иной известной математической модели Интеренет-трафика и далее идентификация ее
параметров, без проверки адекватности выбранной математической модели изучаемым
информационным процессам, что подтверждает анализ многочисленных работ,
посвященных исследованию самоподобных свойств Интерент-трафиках, число, по нашим
оценка, сегодня уже привысило тысячу;
– не обсуждаются используемые технологии получения Интернет-трафика и
инструменты его анализа;
– отсутствуют общепринятые методики и общедоступные инструменты для
анализа сетевого трафика.
Отметим, что Интернет-трафик является сложным многомерным объектом, который
можно изучать в различных измерениях (например, число и размеры передаваемых пакетов,
объемы передаваемой информации и т.д.). В этой связи, очевидно, что первым и неотъем-
лемым этапом количественного анализа данных дампов является этап семантического ана-
лиза (парсинг) дампов Интернет-трафика (pcap-файлов), на котором из данных файлов из-
влекается необходимая количественная информация, используемая далее для получения
количественных оценок характеристик трафика.
Таким образом, проведение экспериментальных исследований свойств информаци-
онных потоков в высокоскоростных магистральных Интернет-каналах на основе систем-
ного подхода является актуальным.
Объект исследования: информационные потоки в высокоскоростных магистраль-
ных Интернет-каналах.
Предмет исследования: свойства информационных потоков в высокоскоростных
магистральных Интернет-каналах.
Цель работы: разработка и применение математического и алгоритмического обес-
Все поставленные в начале исследования задачи были решены. В частности, было
разработано математическое и программное обеспечение для анализа трафика,
передаваемого в высокоскоростных магистральных каналах передачи данных, что
позволило получить следующие новые результаты:
1. Проведен анализ методов исследования информационных потоков в КС сетей
с точки зрения их применимости для исследования трафика в высокоскоростных
магистральных Интернет-каналах, и соответствующих программных инструментов,
результаты, которого подтвердили необходимость разработки специализированного
математического и алгоритмического программного обеспечения, обеспечивающего
автоматическое извлечение информации из pcap-файлов в выбранном измерении.
2. Создан программно-аппаратный комплекс, обеспечивающий извлечение в
автоматизированном режиме из дампов трафика, передаваемого в высокоскоростном
магистральном Интернет-канале, количественные его количественные характеристики,
адаптированный для суперкомпьютера «Уран» ИММ УрО РАН.
3. Разработана методики анализа первичной информации, извлекаемой из pcap-
файлов, обеспечивающая получение количественных характеристики информационных
потоков, переданных в магистральном высокоскоростном Интернет-канале.
4. Изучены в соответствие с авторской методикой особенности
информационных потоков в магистральном Интернет-канале, создаваемых выбранными
классами пользователей («Слоны», «Мулы», «Мыши»), и их взаимное влияния друг на
друга, в том числе, установлено, что:
4.1. в информационных потоках, создаваемых, классом «Мыши»
преобладающими являются пакеты размером не более 200 байт, в информационных
потоках, создаваемых, классами «Мулы» и «Слоны» преобладающими являются пакеты
размером 1500 байт;
4.2. наиболее стабильными во времени параметры распределения
информационных потоков по размеру пакетов в течение недели оказываются у класса
пользователей «Слоны» и «Мулы», наименее стабильные у пользователей класса «Мыши»;
4.3. временные ряды Ni, Vi, содержащие упорядоченные во времени значения
числа пакетов и объемов информации, переданных в течение заданного временного
интервала, а также среднего объема переданной информации, приходящейся на один пакет.
представляют собой случайные последовательности с ограниченной областью рассеяния,
накопленные суммы которых обладают свойством самоподобия;
4.4. существует детерминированная линейная связь между объемами
информации, переданной в течении 15 минут каждым из классов пользователей, что
свидетельствует о возможности создания на основе управления скоростью передачи
информации каждого из выделенных классов пользователей механизмов балансировки
объемов передаваемой информации, призванных повысить качество обслуживания
пользователей данным каналом, и предложена структурная схема подобного алгоритма.
Перспективы дальнейшей разработки темы исследования заключаются в поиске
возможностей совершенствования предложенного в данной работе алгоритма управления
высокоскоростными магистральными Интернет-каналами с целью повышения
эффективности и качества их работы.
СПИСОК СОКРАЩЕНИЙ
AAФ −алгоритм генерации фрактального броуновского движения, на основе Фурье-филь-
трации
ВР – временной ряд
ГА − генетический алгоритм
ГЖМ − гибридная жидкостная модель
ЖМ − жидкостная модель
КС – компьютерная сеть
НР – нормальное распределение
ПР – плотность распределения
СНР – стандартное нормальное распределение
СП – случайная последовательность
ФБД – фрактальное броуновское движение
ФР − функция распределения
ADSL − Asymmetric Digital Subscriber Line (Асимметричная цифровая абонентская линия)
API − Application Program Interface (программный интерфейс приложения)
ICMP − Internet Control Message Protocol (протокол межсетевых управляющих сообщений)
IGMP − Group Management Protocol (протокол управления группами Интернета)
IP − Internet Protocol (сетевая модель передачи данных, представленных в цифровом виде)
ISO − International Organization of Standardization (Международная организация по стандар-
тизации)
OSI − Open System Interconnection (модель Взаимодействия открытых систем)
SDN − Software-defined Networking (программно-конфигурируемая сеть)
TCP − Transmission Control Protocol (протокол управления передачей данных в Интернет)
TCP/IP − Transmission Control Protocol (протокол управления передачей данных в Интер-
нет)/ Internet Protocol (сетевая модель передачи данных, представленных в цифровом виде)
UDP − User Datagram Protocol (протокол пользовательских датаграмм)
VLAN − Virtual Local Area Network (виртуальная локальная компьютерная сеть)
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
4.7 (18 отзывов)
4.8 (373 отзыва)
4.2 (13 отзывов)
5 (9 отзывов)
5 (49 отзывов)
4.6 (92 отзыва)
4.8 (9 отзывов)
4.8 (211 отзывов)
4.2 (25 отзывов)
