Разработка и исследование конвейерного метода интервального анализа видеотрафика
Введение
1 Анализ характеристик видеотрафика в реальном масштабе времени
1.1 Особенности пакетной передачи видеоинформации
1.2 Показатели качества обслуживания для передачи видеотрафика
1.3 Характеристики трафика видеокодеков
1.4 Моделирование трафика видеокодеков
2 Анализ характеристик потока заявок интервальным методом
2.1 Интервальный метод анализа трафика
2.1.1 Корреляционные соотношения
2.1.2 Применение обобщенной формулы Хинчина-Поллячека
2.2 Исследование конвейерного метода интервального анализа
2.2.1 Интервальный метод с учетом длин пакетов
2.2.2 Уравнение баланса с учетом длины пакета
2.2.3 Анализ алгоритма скользящего окна на буфере временных меток
2.2.4 Алгоритм обратного асинхронного расчета очереди для диапазона значений
загрузки
3 Исследование трафика видеокодеков интервальным методом
3.1 Подготовка образцов видеотрафика
3.2 Анализ очередей для различных комбинаций параметров кодеков
3.3 Число заявок на интервалах обслуживания
3.4 Распределение вероятностей чисел заявок на интервалах обслуживания
3.5 Аппроксимация характеристик очередей образуемых видеотрафиком
4 Разработка и исследование системы конвейерного анализа трафика в
реальном времени
4.1 Требования к реализации конвейерного метода
4.2 Общее устройство системы конвейерного анализа
4.3 Захват трафика в реальном масштабе времени
4.3.1 Исследование возможностей получения пакетных данных с сетевого
интерфейса
4.3.2 Реализация алгоритма скользящего окна синхронных кольцевых буферов103
4.3.3 Алгоритм подстройки размеров скользящего окна в зависимости от
производительности системы
4.4 Выбор схемы включения системы конвейерного анализа в сеть оператора107
4.5 Порядок работы в системе конвейерного анализа трафика
4.6 Анализ производительности разработанной системы
5 Повышение эффективности передачи видеотрафика кодека H.264 с
использованием системы конвейерного интервального анализа
5.1 Результаты работы алгоритмов в рамках системы конвейерной обработки
видеотрафика
5.2 Разработка методики определения размера буфера выходного порта
коммутатора
5.3 Определение действующего объема выходного буфера порта коммутатора125
5.4 Определение требуемых параметров видеокодека и буфера порта
Заключение
Список литературы
Приложение 1. Акты об использовании результатов диссертации
Приложение 2. Характеристики видеообразцов
Во введении отражена актуальность темы исследования, сформулированы объект, предмет исследования и цель. Поставлены задачи исследования, приведен перечень основных опубликованных работ по теме диссертации и представлена структура диссертации.
В первой главе проанализированы текущие требования к качеству обслуживания видеотрафика в сетях доступа операторов связи. Рассмотрены технологии DVB-IPTV и требования, предъявляемые к их качеству. Представлен обзор стандарта кодирования видеоинформации ITU-T H.264. Проанализированы требования к сети доступа и видеотрафику, выявлена недостаточная проработанность указанной тематики в части требований к оборудованию доступа стандарта Ethernet. Согласно стандарту DVB-IPTV допускается не более одного видимого искажения изображения в час, что соответствует коэффициенту потерь IP пакетов (PLR) не более 1×10-6 на видеопотоке с битовой интенсивностью 4Мбит/с. Несмотря на то, что при кодировании аудиовизуальной информации по стандарту H.264 и ее передаче в потоках H.222.0 поток маркируется значением номинальной битовой интенсивности (битрейта), в стандарте H.264 не предусмотрена генерация потока с постоянной битовой интенсивностью. Поток видеоданных H.264 всегда имеет пачечную структуру (см. Рисунок 1).
Рисунок 1 – Количество IP-пакетов видеотрафика (n), обрабатываемое портом доступа за 1мс, в зависимости от времени (t)
Производители сетевого оборудования рекомендуют сглаживать пачечность таких потоков при помощи буферизации, что приводит к нежелательным задержкам. В частности, рекомендуется выделять видеотрафик в отдельный класс с гарантированной полосой пропускания, равной битовой скорости видеоданных, и регламентирует значения потерь не более 5%. Данный подход непригоден для видеотрафика переменной битовой интенсивности. Буферное пространство под классы трафика выделяется в процентном соотношении, тогда как абсолютный размер буфера в байтах
производителем не публикуется. В результате оператор связи вынужден настраивать буферизацию видеотрафика эмпирическим путем, в том числе на основании анализа статистики потерь, что приводит к формированию значительного резерва емкости. При этом отмечается, что ключевые параметры кодека H.264, влияют на структуру очередей. Путем анализа IP- пакетов возможно определить конкретные числовые параметры видеокодека H.264, определив в потоке дескриптор параметров. Дескриптор параметров – трехбайтовая структура, в которой первый байт указывает профиль параметров видеокодека H.264, т.е. набор используемых видеокодеком механизмов сжатия видеоданных, а третий байт определяет уровень ограничений, накладываемых стандартом на результирующий сжатый поток. Следует учитывать, что основные ограничения – это битовая скорость потока и максимальный объем буфера декодировщика. Стандартом DVB-IPTV предусмотрено несколько способов инкапсуляции видеоданных в транспортные протоколы (мультиплексирования), что необходимо учитывать при поиске дескриптора параметров.
Также производится обзор методов исследования видеокодека H.264 с точки зрения СМО, способов мониторинга видеотрафика. Отмечаются сложности моделирования и изучения видеотрафика кодека H.264, причем существенным фактором является сложность самого стандарта. В заключение обосновывается необходимость разработки конвейерного метода интервального анализа.
Во второй главе приведены основные положения метода интервального анализа трафика, а также предложен разработанный конвейерный метод интервального анализа трафика применительно к видеокодеку H.264. Также в главе исследованы алгоритмы, позволяющие реализовать конвейерный метод анализа в системе реального масштаба времени.
Участок сети оператора связи на промежутке от магистрального порта коммутатора доступа до порта абонента рассматривается как система массового обслуживания с потоком заявок общего вида. Под термином «пакет видеотрафика» далее понимается единица передачи данных, которую, в рамках предлагаемой модели, обрабатывает коммутатор доступа. Единица передачи данных содержит полезную нагрузку в виде одного IP-пакета DVB- IPTV, которую коммутатор способен буферизировать. Пакеты видеотрафика передаются в направлении от магистрального порта к абонентскому.
Далее предполагается, что канальные скорости портов фиксированы и известны наперед, т.е. максимальные битовые скорости поступления и обработки пакетов заданы изначально. Других ограничений на систему
обслуживания входящего потока не накладывается, следовательно, такую модель можно обозначить G/D/1 в нотации Кендалла-Башарина.
Предложен алгоритм перехода от потока пакетов видеотрафика произвольной длины к потоку заявок с фиксированным интервалом обработки: каждый пакет интерпретируется как серия заявок, расположенных на минимально допустимом интервале друг от друга. Способ интерпретации потока заявок представлен на рисунке 2, где ti – моменты прихода пакетов, l – длина пакета, τ – интервал обработки заявки, T – период наблюдения, s – длина одной заявки, ki – количество заявок на интервале обработки. За время обработки одной заявки τ принимается время обработки 1килобайта трафика. Таким образом, интервал обработки τ на данном конкретном канале представляет собой фиксированную величину. Получаемый таким образом промежуток времени между моментами поступления двух соседних заявок – θ, может быть произвольным, но не менее θmin, т. к. входящий канал имеет ограниченную емкость.
Рисунок 2 – Интерпретация потока заявок с фиксированным интервалом обработки как потока пакетов произвольной длины
Для конвейерной обработки в системе анализа размеры пакетов и временные метки их поступления соответственно записываются в два кольцевых буфера. Оба буфера заполняются синхронно по мере поступления пакетов видеотрафика. Интерпретация пакетов в виде заявок, сам процесс обработки потока заявок и расчет характеристик потока производится отдельным вычислительным потоком, по таймеру с заданной периодичностью. Часть кольцевого буфера, содержащая еще не обработанные пакеты, называется скользящим окном. Положение
скользящего окна на кольцевом буфере определяется индексами ячеек, соответствующих границам окна. Для работы такого буфера разработан алгоритм скользящего окна синхронных кольцевых буферов, позволяющий определить индексы границ окна в произвольный момент времени. Суть алгоритма заключается в перемещении индексов границ скользящего окна на необработанную часть буфера, при этом исключая данные поступившие за предыдущие моменты времени, относительно заданного периода анализа TA (см. Рисунок 3).
Рисунок 3 – Блок-схемы алгоритмов скользящего окна синхронных кольцевых буферов для потока обработки (а) и потока захвата пакетов (б)
Также разработан алгоритм обработки заявок, позволяющий интерпретировать поток заявок для нескольких значений коэффициента загрузки параллельно в виде алгоритма обратного асинхронного расчета, причем свойство асинхронности обусловлено возможностью запуска алгоритма в произвольные моменты времени. В рамках предложенного метода задается сетка из T+1 значений интервала обслуживания от некоторого начального значения до максимального :
(1)
12
Пусть каждая заявка интерпретируется, как принадлежащая одновременно T различным потокам с различными временами обслуживания . Для всех a, таких, что (для всего скользящего окна временных меток), вычисляется позиция текущей заявки на сетке интервалов
обслуживания:
(2)
Все заявки на одном интервале обслуживания (с одинаковым индексом ) суммируются. Таким образом, мы получаем суммарное количество
заявок, поступивших на интервале обслуживания с номером :
если если
(3)
Поскольку учитываются все поступающие заявки последовательно, то при различии позиции текущей заявки на сетке интервалов относительно предыдущей заявки можем сделать вывод, что больше заявок за предыдущие интервалы не поступало. Учтем эти интервалы обслуживания:
, где
Для этих же интервалов монотонное уменьшение очереди:
. (5) учитываем
(6)
После расчета длины очереди в период отсутствия заявок, и зная количество поступивших за интервал заявок существует возможность вычислить длину очереди в течение интервала с номером
:
при
Если же заявки на всем периоде окна
при при
при при
(7) отсутствовали, то для
всех интервалов обслуживания имеет место условие:
, для . (8)
Процедура (2)-(8) повторяется для каждой временной шкалы, т.е. для каждого . Таким образом, рассчитываются значения размеров очередей по рекуррентным соотношениям в каждый момент времени, начиная с
предыдущего запуска алгоритма, т.е. по всему скользящему окну. Блок-схема алгоритма (1)-(8) представлена во второй главе диссертации.
В третьей главе приводятся результаты экспериментального анализа различных способов трансляции видеоданных формата H.264 по протоколу IPv4 с использованием модели доставки IP-мультикаст, определенной интернет стандартами IETF (RFC 1112, RFC 5771). Выявлены параметры, позволяющие адаптировать сеть для передачи видеоданных с учетом требований, предъявляемых данным типом кодека – граничный коэффициент загрузки и максимальное значение длины очереди для заданных настроек видеокодека. Настройки видеокодека H.264 в данном исследовании были ограничены допустимыми наборами параметров согласно стандартам DVB- IPTV, а именно профилями параметров видеокодека H.264, т. е. наборами допустимых механизмов сжатия видеоданных, и уровнями ограничений, накладываемых стандартом на результирующий сжатый поток. Всего было проведено 216 экспериментов для различных комбинаций настроек кодека H.264 и мультиплексоров (всего 4 профиля и 9 вариантов уровней). В каждом эксперименте обрабатывалось 50 000 пакетов видеотрафика. Кодировка видеоданных производилась заранее, чтобы исключить влияние процесса кодирования на передачу видеотрафика. Использовались тестовые видеопоследовательности высокой пространственной и временной сложности, согласно стандартам МСЭ-Т (P.910, G.1080). Схема эксперимента основана на стандарте МСЭ-Т G.1081 и представлена на рисунке 4.
Рисунок 4 – Схема эксперимента подготовки и передачи видеотрафика на стороне источника
Пример полученных графиков зависимостей средней длины очереди от коэффициента загрузки для различных комбинаций параметров кодека представлен на рисунке 5. Представленные данные свидетельствуют о том, что мультиплексор ffmpeg порождает потоки высокой степени пачечности на профиле настройки High (используется в телевидении высокой четкости с глубиной квантования 8 бит на элемент изображения) и High10 (глубина
квантования 10 бит). Уже при коэффициенте загрузки 0,15 в потоке с профилем High10 средняя длина очереди составляет 5 заявок.
Рисунок 5 – Графики зависимостей средней длины очереди от коэффициента загрузки для видеотрафика формата H.264 с настройками кодека Baseline 3.0, High 4.2 и High10 5.2 при вещании средствами мультиплексора ffmpeg
Максимальное значение длины очереди может многократно превышать среднее значение при том же коэффициенте загрузки. Так, для профиля High10 и канальной скорости 100 Мбит/с наблюдается максимальное значение длины очереди в 135 заявок при среднем значении 0,92.
Далее производится анализ поведения зависимости максимальной длины очереди, условной средней длины очереди (учитывающей только периоды занятости прибора) и поведение отношения величины к коэффициенту загрузки (пример графиков для одного видеопотока представлен на рисунке 6). Величина , используемая в интервальном методе, учитывает ковариацию между количеством заявок на интервале обслуживания и значением длины очереди, дисперсию количества заявок, и характеризует зависимость средней длины очереди от коэффициента загрузки для потоков трафика общего вида. Из графиков на рисунке 6 (а) наглядно видно, что максимальное значение длины очереди многократно превышает средние значения даже при малых коэффициентах загрузки. При этом существует область слабого роста максимальной длины очереди, и можно выделить граничное значение загрузки, после которого начинается резкий
рост очередей. Для этого же видеопотока, анализ отношения на рисунке
6 (б) показывает, что график имеет участок, который хорошо аппроксимируется линейной функцией.
Рисунок 6 – Зависимости параметров очередей от коэффициента загрузки (а), отношения величины к коэффициенту загрузки и его аппроксимация с характеристическими коэффициентами α и β (б)
Таким образом, имеется область стабильного поведения максимальной длины очереди и существует возможность определения граничного значения коэффициента загрузки. При этом эксплуатация системы DVB-IPTV при коэффициентах загрузки свыше граничного значения будет приводить к неконтролируемому поведению очередей.
Пример графика автокорреляционной функции (АКФ) чисел заявок на интервалах обслуживания приведен на рисунке 7 (нулевое смещение пропущено для наглядности).
Рисунок 7 – Графики АКФ для чисел заявок на интервалах обслуживания, для видеотрафика мультиплексора ffmpeg с кодированием High 4.1, в зависимости от смещения по индексам z > 0 и по времени t (c)
Из указанного графика можно сделать вывод о наличии периодичности в потоке, причем период соответствует частоте смены кадров. Представленные в главе экспериментальные данные также свидетельствуют о
том, что разные мультиплексоры демонстрируют разное поведение АКФ. Так, 16
график АКФ для трафика мультиплексора ffmpeg демонстрирует незатухающую периодичность, а для мультиплексора VLC свидетельствует о наличии трендов на временных масштабах порядка 10-15 с. В главе приведены данные о распределении вероятностей чисел заявок, приходящихся на интервал обслуживания, а также представлены данные об автокорреляции чисел заявок. Предложена формула аппроксимации зависимости отношения от коэффициента загрузки:
(9)
где коэффициенты и характеризуют пачечность потока, и могут быть получены методами линейной регрессии. В итоге делается вывод о необходимости выбирать размеры пакетных буферов коммутатора исходя из максимальных значений длины очереди с учетом граничного коэффициента загрузки при данных параметрах видеокодека.
В четвертой главе рассматривается разработанная система непрерывного мониторинга видеотрафика в сети доступа. Указанная система конвейерного интервального анализа видеотрафика разработана в среде Qt на языке программирования C++. Ее функциональная схема представлена на рисунке8, где стрелками обозначены направления передачи сигнальных сообщений.
Рисунок 8 – Функциональная схема реализации системы непрерывного анализа трафика
Сбор данных трафика (захват пакетов с сетевого интерфейса) и их обработка ведется двумя отдельными потоками, чтобы избежать искажения временных меток в исходных данных. Данные из потока сбора передаются в поток обработки через общую область памяти – кольцевой буфер. Представление графиков производится по программируемому таймеру, при
этом интервал представления задается пользователем системы (по умолчанию интервал составляет 300 мс). Существуют различные варианты захвата трафика в операционных системах общего назначения, отличающиеся положением точки захвата в тракте обработки трафика и порядком обработки служебных данных, в частности временных меток. В разработанной системе реализован захват трафика с помощью библиотеки Libpcap и выставление временных меток с разрешением 1 мкс. В главе также приводятся результаты исследования производительности системы конвейерного анализа видеотрафика. Время отработки всех алгоритмов для анализа буфера длиной в 100 тыс. пакетов, расчета десяти коэффициентов загрузки и вывода графиков, составило 350 50 мс.
Пятая глава посвящена исследованию характеристик трафика видеокодека H.264 в сети доступа оператора связи, с применением разработанной системы конвейерного интервального анализа. Определены требования к объему пакетных буферов коммутаторов доступа, необходимые для передачи видеотрафика с различными параметрами. Под термином «пакетный буфер» понимается пространство временного хранения Ethernet- фреймов внутри Ethernet-коммутатора вместе с сопутствующей служебной информацией (временные метки, идентификаторы виртуальных сетей). Рассчитанные объемы пакетных буферов для нескольких вариантов настройки кодека и соответствующие граничные коэффициенты загрузки представлены в таблице 1.
Таблица 1. Объемы пакетных буферов необходимые для передачи видеотрафика с заданными параметрами
Профиль Мультиплексор Обозначение уровня Требуемый объем буфера в пакетах Граничный коэффициент загрузки
Baseline
High High10 ffmpeg
3.0
10 16 24 45 51 137 140 156
0,04 0,09 0,23 0,42 0,47 0,52 0,47 0,33
3.1
3.2
4.1 4.2 5.0 5.1 5.2
Разработана методика проверки реального объема буфера коммутатора для оценки соответствия объема буфера потоку видеотрафика. Проведены экспериментальные исследования структуры пакетных очередей популярных моделей коммутаторов. Экспериментальные данные о размерах исходящего буфера нескольких популярных моделей коммутаторов с
отключенным управлением очередями и качеством обслуживания (QoS) представлены в таблице 2, с различными параметрами QoS – в таблице 3.
Таблица 2. Полученные экспериментально размеры исходящего буфера при выключенном функционале управления очередями
Коммутатор
WS-C2960-24TT-L WS-C2960S-48FPD-L WS-X6748-GE-TX WS-C2960G-24TC-L
Объем пакетного буфера, Кбайт 124
376
Таблица 3. Размеры исходящего буфера на коммутаторе типа WS- C2960G-24TC-L полученные экспериментально при различных параметрах
управления QoS
Управление QoS выключено, 154 12,61 используется одна очередь на порту
Управление QoS включено, используется 22 1,80 одна очередь на порту
Параметры управления QoS
Объем буфера, Кбайт
Порождаемая задержка на 100 Мбит/с, мс
Управление QoS включено, используется две очереди, одна из которых приоритетная. Результат для неприоритетного потока
11
0,90
Управление QoS включено, используется одна очередь с разрешением использовать максимальный объем общего буфера
227
18,59
Разработанная методика предполагает измерение объема буфера, эквивалентного полезной нагрузке Ethernet-фреймов в виде IP-пакетов, без учета служебной информации и Ethernet-заголовков. Таким образом, размер буфера представлен в байтовом объеме полезной нагрузки и в количестве IP- пакетов максимально допустимой длины 1500 байт (MTU). Погрешность составляет ±1 MTU. Как видно из таблицы 3, простое включение функционала управления очередями на коммутаторе типа WS-C2960G-24TC- L приводит к уменьшению доступного объема одной очереди в 7 раз.
В таблице 3 также указана максимальная порождаемая полным буфером задержка на канале 100 Мбит/с. Представленные данные свидетельствуют о необходимости планирования распределения буферов
коммутатора и экспериментальной верификации действительного объема буфера для эффективной передачи видеотрафика с заданными характеристиками.
В пятой главе сформулированы рекомендации по повышению эффективности передачи видеотрафика, настройке параметров качества обслуживания на коммутаторах в зависимости от параметров видеокодека H.264. На рисунке 9 представлен график зависимости экспериментально измеренного значения коэффициента PLR от объема зарезервированного пакетного буфера интерфейса и различных граничных значений диспетчера очереди WTD для видеотрафика H.264 с профилем High и коммутатора типа WS-C2960S-48-FPD-L.
Рисунок 9 – Зависимость коэффициента PLR от процента резервирования объема пакетной памяти интерфейса для различных граничных значений диспетчера WTD (эксперимент) и оптимальное значение (расчет)
На графике отмечено оптимальное значение объема пакетного буфера, рассчитанное с использованием конвейерного метода интервального анализа. Представленный график наглядно демонстрирует достижение целевых значений PLR при использовании представленной в диссертации методики.
В заключении сформулированы основные результаты, полученные при проведении диссертационного исследования.
ЗАКЛЮЧЕНИЕ
Основные результаты, полученные в работе, заключаются в следующем:
1. Предложен, разработан и исследован конвейерный метод интервального анализа, обеспечивающий потоковую обработку видеотрафика в реальном масштабе времени, разработаны алгоритмы для программной реализации метода.
2. Исследование интервальных характеристик видеотрафика стандарта H.264 показало, что параметры видеокодека и мультиплексора оказывают определяющее влияние на размеры очередей в телекоммуникационных системах DVB-IPTV. Экспериментально получены предельные значения размеров очередей и коэффициентов загрузки для используемых в DVB-IPTV вариантов кодирования видеопотока.
3. Разработана система конвейерного анализа видеотрафика, принимающая исходные данные непосредственно из сети, способная рассчитывать размеры очередей и выводить результаты анализа в реальном масштабе времени.
4. Разработанный метод определения объема и структуры буферной памяти оборудования доступа позволяет оценить их соответствие требованиям передачи конкретного видеопотока. Это позволяет, с учетом полученных характеристик видеопотока, подобрать соответствующие параметры оборудования и устранить потери видеотрафика обусловленные переполнением пакетной очереди на участке сети.
5. Экспериментально подтверждено, что при резервировании пакетного буфера в объемах, рассчитанных по представленной методике, достигается целевой показатель для видеопотока заданного формата, при этом дальнейшее увеличение объема буфера не требуется.
Результаты работы рекомендуется использовать при планировании участка сети доступа с учетом предоставления услуги DVB-IPTV и при внедрении услуги DVB-IPTV на существующей инфраструктуре. Это позволит достичь целевых значений показателя PLR не превышающих 10-8 в соответствии со стандартами DVB-IPTV при оптимальном использовании пакетной памяти оборудования доступа. Результаты работы в части исследования объема и структуры буферной памяти коммутатора могут использоваться при проектировании и тестировании оборудования связи.
Перспективы дальнейших исследований. В дальнейшем целесообразно развить разработанный метод с учетом мультиплексирования нескольких видеопотоков, а также учесть наличие фонового трафика.
Диссертация посвящена разработке и исследованию конвейерного метода
интервального анализа видеотрафика. В работе предложены алгоритмы
конвейерного анализа трафика, разработана система конвейерного анализа
трафика, представлены результаты теоретического и экспериментального
исследования видеотрафика формата H.264 на сети доступа.
Актуальность темы
На сегодняшний день большинство операторов связи широкополосного
доступа предлагает клиентам широкий спектр услуг, в том числе услуги IP-
телевидения (DVB-IPTV) и Smart-TV. Мониторинг качества таких услуг
представляет технически сложную задачу и зачастую основан на обработке
претензий абонентов. Проблемы с телевизионным вещанием по IP-сетям, как
правило, обусловлены потерями пакетов в сети оператора связи, либо
избыточными задержками и вариацией задержки доставки пакетов, особенно при
распространении информации по сетям доступа. Причиной потерь и задержек
является несоответствие между характеристиками сети доступа и свойствами
потока пакетов (заявок) видеотрафика. Требования к качеству услуг передачи
данных для целей IP-телевидения регламентированы стандартами серии DVB-
IPTV Европейского института по стандартизации в области телекоммуникаций
(ETSI) [46], а также стандартами Международного союза электросвязи (МСЭ)
[54,55,56]. На практике наблюдается определенное несоответствие и
периодическое рассогласование между требованиями стандартов и реализацией
данных требований операторами связи на конкретной сети.
Стандарты IEEE, IETF и рекомендации производителей оборудования связи
определяют требования в основном к базовым характеристикам сетей при
передаче данных потокового или интерактивного видеотрафика с требуемым
качеством, в частности границы максимально допустимых потерь пакетов
составляют от 0,1% до 5% для различных видов видеотрафика [76,120,115,129]. В
то же время, стандарты DVB-IPTV предусматривают, что потери пакетов в DVB-
IPTV регламентируются количеством визуально заметных искажений
изображения в час [52,122], т.е. имеется несоответствие метрик качества, что
очевидно необходимо учитывать при выборе метода мониторинга характеристик
сети [51,68]. Стандарты МСЭ-Т серии G.1000 рекомендуют операторам
производить непрерывный мониторинг качества IPTV и адаптировать
характеристики сети при наличии искажений, но включают только общий
алгоритм действий [53], а не конкретные процедуры по определению требуемых
значений параметров канала связи. При этом следует учесть, что к заметному
пользователю искажению видеокадра может привести даже потеря одного пакета.
В результате в рамках системного подхода требуется изучать характеристики
видеотрафика как с учетом характеристик сети, так и с учетом характеристик
видеокодека.
В настоящее время существуют специализированные программно-
аппаратные комплексы, предназначенные для анализа целостности потока
видеоданных. Такие комплексы указывают на наличие проблем в потоке, но не
предлагают реализации методов их устранения [20,21,22]. С другой стороны,
общепринятые методы статистического исследования потоков видеотрафика
применяются уже по факту возникновения или проявления проблемы, на основе
анализа отдельных образцов (выборок) трафика, что не позволяет проводить
анализ непосредственно в момент трансляции видеосигнала.
Актуальной является задача исследования и разработки методов анализа
видеотрафика, пригодных для реализации в системах непрерывного мониторинга
поведения видеотрафика, с учетом всего стека протоколов DVB-IPTV.
Разработанность темы исследования
Проблемы анализа видеотрафика и качества обслуживания в сетях передачи
данных представлены в научных работах таких авторов, как С.Н. Степанов,
Д. Логуинов, О.И. Шелухин, Е.А. Кучерявый, Г.П. Башарин, В.М. Вишневский,
А.Н. Назаров, Г.Г. Яновский, Д.А. Молчанов, М. Конти, Д.С. Ривз, К. Чандра,
И. Чен, М. Эллис, Р. Кац, Ж.И. Ле Боудек.
Требования к телевизионным трансляциям традиционно разрабатывались в
контексте применения к таким средствам передачи информации как эфир, кабель,
спутник. Требования к сети передачи данных для услуги DVB-IPTV в настоящее
время проработаны недостаточно, поскольку само поведение видеотрафика
современных видеокодеков в сетях еще недостаточно изучено. Так, ряд
исследователей в своих работах уделяет внимание анализу видеокодеков и их
статистических характеристик, но эти работы описывают внутреннюю структуру
кодека и к характеристикам сети неприменимы. В этих научных трудах
анализируется не пакетный трафик, а исходные видеофайлы. В ряде работ дается
описание только одного образца видео без привязки к технологии трансляции. В
работах по оценке статистических характеристик трафика на магистральных сетях
рассматривают лишь трафик интернет-серфинга и передачу файлов. Как правило,
в этих работах показывается либо опровергается наличие Пуассоновских свойств
или долговременных зависимостей потока. К мультисервисному трафику доступа,
а тем более IP-телевидения, эти результаты неприменимы. Имеется ряд работ
посвященных детальному сравнению качества работы видеокодеков, но в них
делается акцент на качество видеокадра без учета трансляционных технологий и
стандартов. Во всех указанных работах анализируются образцы трафика уже
после факта передачи, и проанализировать в них переходные процессы в моменты
перегрузки не представляется возможным. В работах, посвященных
исследованию статистических свойств видеоинформации, закодированной по
стандарту H.264, не рассматриваются особенности реализации видеокодеков и
трансляционных устройств. В результате проблема определения необходимых
характеристик оборудования для обеспечения качественной передачи
видеотрафика с помощью технологий DVB-IPTV и с учетом заданных параметров
кодеков остается открытой.
Объект и предмет исследования
Объектом исследования является видеотрафик технологий DVB-IPTV в сети
доступа оператора связи, построенной на базе стандартов Ethernet. Предметом
исследования является конвейерный метод интервального анализа указанного
видеотрафика и алгоритмы, обеспечивающие его реализацию.
Цель исследования
Целью диссертационного исследования является обеспечение повышения
качества передачи видеотрафика путем непрерывного мониторинга и изменения
характеристик сети с помощью конвейерного метода интервального анализа
видеотрафика.
Основные задачи исследования
Для достижения поставленной цели определены следующие задачи:
1. Разработка конвейерного метода интервального анализа для
обеспечения мониторинга видеотрафика сети доступа непосредственно в
процессе трансляции.
2. Проведение анализа размеров очередей в телекоммуникационных
системах обслуживания видеотрафика с помощью метода интервального анализа
видеотрафика для стандарта DVB-IPTV при различных комбинациях параметров
кодека H.264.
3. Разработка системы конвейерного анализа видеотрафика
непосредственно при вещании по сети для прогнозирования размеров очередей
пакетов на сетевых интерфейсах с помощью расчета интервальных характеристик
трафика.
4. Разработка метода определения объема и структуры буферной памяти
оборудования сети доступа для оценки его соответствия требованиям
обеспечения или повышения качества передачи видеотрафика.
Научная новизна работы состоит в следующем:
1. Предложен и реализован конвейерный метод интервального анализа
видеотрафика, отличающийся от существующих учетом длин пакетов и
параметров видеокодека H.264, что позволяет повысить точность анализа
характеристик видеотрафика, а также возможностью работы в реальном масштабе
времени.
2. Разработаны и исследованы алгоритмы, обеспечивающие реализацию
конвейерного метода анализа видеотрафика, отличающиеся от существующих
расчетом характеристик очереди для нескольких коэффициентов загрузки
одновременно и учетом производительности системы анализа.
3. Предложен новый метод определения объема пакетного буфера
коммутатора на основе наблюдаемого поведения трафика, позволяющий, в
отличие от существующих, оценить дисциплину обслуживания и структуру
пакетных очередей и не требующий синхронизации времени между источником и
приемником данных.
4. Показано, в отличие от известных результатов, что для повышения
качества передачи видеоданных необходимо учитывать, помимо номинального
битрейта видеопотока, также параметры видеокодека и абсолютные размеры
пакетных буферов телекоммуникационного оборудования.
Теоретическая значимость работы определяется следующими,
полученными в ней результатами:
1. Предложен, разработан и исследован конвейерный метод
интервального анализа, обеспечивающий потоковую обработку видеотрафика,
учитывающий размеры пакетов, разработаны алгоритмы для программной
реализации метода.
2. Исследование интервальных характеристик видеотрафика стандарта
H.264 показало, что параметры видеокодека и мультиплексора оказывают
определяющее влияние на размеры очередей в телекоммуникационных системах
DVB-IPTV. Экспериментально получены предельные значения размеров очередей
и коэффициентов загрузки для используемых в DVB-IPTV вариантов
кодирования видеопотока.
3. Разработан метод определения объема и структуры буферной памяти
оборудования доступа, не требующий синхронизации времени между источником
и приемником данных.
Практическая значимость и внедрение результатов
Практическая значимость работы состоит в том, что разработанная система
конвейерного анализа видеотрафика, принимающая исходные данные
непосредственно из сети, способна рассчитывать размеры очередей и выводить
результаты анализа видеопотока в реальном масштабе времени, а разработанный
метод определения объема и структуры буферной памяти оборудования доступа
позволяет оценить их соответствие требованиям передачи данного видеопотока.
Таким образом, становится возможным подобрать параметры оборудования
наиболее оптимальным образом и устранить потери видеотрафика обусловленные
переполнением пакетной очереди на участке сети.
Результаты диссертационной работы используются при разработке
аппаратуры связи в ПАО «Морион» (г.Пермь), что подтверждено актом от
30.09.2020. Реализованная система мониторинга внедрена в эксплуатацию в
отделе информационно-вычислительных сетей (ИВС) Университетского центра
Интернет Пермского государственного национального исследовательского
университета (ФГБОУ ВО ПГНИУ), который является лицензированным
оператором связи, где система используется для мониторинга трафика более 5
тыс. абонентов, что подтверждено актом от 20.12.2019. Результаты
диссертационной работы также используются в учебном процессе на физическом
факультете ПГНИУ для студентов, обучающихся по специальности
«Информационная безопасность автоматизированных систем», что подтверждено
актом внедрения в учебный процесс от 13.12.2019 (см. Приложение 1).
Теоретическая и методологическая основа исследования
Исследование видеотрафика выполнено на основании действующих
стандартов цифрового телевидения ETSI и стандартов МСЭ-Т в области
кодирования и передачи видеоинформации (ITU-T стандарты серии H), оценки
качества видеотрансляций (ITU-T стандарты серии G). Исследование сетей
доступа было проведено согласно стандартам IEEE серии 802.3 на технологии
семейства Ethernet, а также рекомендациям IETF и МСЭ-Т по качеству
обслуживания в пакетных сетях.
Характеристики качества обслуживания видеотрафика исследовались с
использованием методов теории массового обслуживания, математической
статистики, с применением системного и прикладного программирования и с
учетом известных методик оценки качества видеотрансляций.
Основные положения, выносимые на защиту
1. Разработанный конвейерный метод интервального анализа
видеотрафика позволяет получить предельные значения длин очередей и
коэффициентов загрузки для обеспечения требуемого качества обслуживания
видеопотоков DVB-IPTV с заданными параметрами кодека H.264.
2. Предложенные алгоритмы конвейерной обработки видеотрафика
позволяют реализовать систему расчета интервальных характеристик
видеотрафика, а также прогнозировать непосредственно в процессе вещания
размеры очередей пакетов на портах оборудования доступа.
3. Разработанный метод для видеотрафика кодека H.264 и стандарта
DVB-IPTV обеспечивает повышение качества передачи видеотрафика путем
снижения коэффициента потерь пакетов до уровня с помощью
выбора требуемой длины очереди пакетов при передаче по сети доступа
Степень достоверности и апробация результатов работы
Достоверность и обоснованность научных результатов работы основывается
на корректном использовании научных положений и методов исследования,
соответствием теоретических исследований и результатов экспериментов.
Результаты диссертационного исследования были представлены и получили
положительные отзывы на Всероссийской научно-практической конференции
молодых ученых с международным участием «Математика и
междисциплинарные исследования – 2017» (Пермь, 2017); Всероссийской научно-
практической конференции молодых ученых с международным участием
«Математика и междисциплинарные исследования – 2018» (Пермь, 2018); XXIII,
XXIV, XXVI Российской научной конференции профессорско-
преподавательского состава, научных сотрудников и аспирантов ПГУТИ (Самара,
2016; 2017; 2019), XVII и XX Международной научно-технической конференции
«Проблемы техники и технологий телекоммуникаций» (Самара, 2016; Уфа, 2018),
в рамках круглого стола «Предложения по повышению характеристик СБУ и
связи в перспективных РКСН на основе применения современных сетевых
телекоммуникационных технологий. Способы моделирования и оценки
системных характеристик СБУ и связи» (Пермь, 2021 г.). Получен диплом
лауреата 1 степени на конкурсе цифрового развития, инноваций и инновационных
проектов Международной академии связи – «Новое поколение 2019/2020» в
номинации «Конкурс инновационных разработок и проектов».
Публикации по теме
По теме диссертации автором опубликовано 20 научных работ, из них 19
печатных научных работ и 1 статья в электронном виде, в том числе
опубликовано 4 научных статьях в рецензируемых научных изданиях из перечня
ВАК Министерства науки и высшего образования Российской Федерации для
опубликования результатов диссертаций на соискание ученых степеней
кандидатов и докторов наук.
Зарегистрированы программы для ЭВМ: «Система конвейерного
интервального анализа видеотрафика, версия 1.0» (свидетельство о регистрации
№ 24372 от 12.12.2019, «Конвертер потоков заявок СМО, версия 1.0»
(свидетельство о регистрации № 24371 от 11.12.2019).
Личный вклад автора
Личный вклад автора заключается в получении лично или в соавторстве,
при преобладающем участии автора, новых научных результатов, алгоритмов и
программ реализации конвейерного метода интервального анализа, методики
исследования буферной памяти, метода параллельного расчета для нескольких
коэффициентов загрузки.
Результаты, составляющие содержание диссертационной работы
соответствуют пунктам 2, 12 паспорта специальности 2.2.15.
Структура и объем диссертации
Диссертация состоит из введения, пяти глав, заключения,
библиографического списка, приложений, содержит 159 страниц текста, 10
таблиц, 70 рисунков, 7 страниц приложений.
Краткое содержание работы
В первой главе проанализированы текущие требования к качеству
обслуживания в сетях доступа операторов связи. Рассмотрены технологии DVB-
IPTV и требования, предъявляемые к их качеству. Представлен обзор стандарта
кодирования видеоинформации ITU-T H.264. Проанализированы требования к
сети и видеотрафику, выявлена недостаточная проработанность указанной
тематики. Рассмотрены ключевые параметры кодека H.264, влияющие на
структуру очередей. Предложен алгоритм исследования IP-трафика,
позволяющий выявить конкретные числовые параметры видеокодека H.264,
определив в потоке дескриптор параметров. В главе приводится обзор методов
исследования видеокодека H.264 с точки зрения СМО и способов мониторинга
видеотрафика. Обсуждаются сложности моделирования и изучения видеотрафика
кодека H.264, одна из которых – сложность самого стандарта. Обосновывается
необходимость разработки конвейерного метода интервального анализа.
Во второй главе приведены основные положения метода интервального
анализа трафика. Предложен и разработан конвейерный метод интервального
анализа трафика в применении к видеокодеку H.264. Исследованы алгоритмы,
позволяющие реализовать конвейерный метод анализа в системе реального
масштаба времени. Участок сети оператора связи на промежутке от
магистрального порта коммутатора доступа до порта абонента рассматривается
как система массового обслуживания с потоком заявок общего вида (G/D/1).
Предложен алгоритм перехода от потока пакетов видеотрафика произвольной
длины к потоку заявок с фиксированным интервалом обработки. Обсуждается
необходимость такого перехода, а также оценивается возникающая погрешность.
Предложен алгоритм скользящего окна синхронных кольцевых буферов,
позволяющий определить индексы границ окна в произвольный момент времени.
Также предложен алгоритм обработки заявок, позволяющий интерпретировать
поток заявок для нескольких значений коэффициента загрузки параллельно –
алгоритм обратного асинхронного расчета.
В третьей главе приводятся результаты экспериментального анализа
различных способов вещания видеоданных формата H.264 по протоколу IP-
мультикаст. Выявлены параметры, позволяющие адаптировать сеть для передачи
видеоданных с учетом требований, предъявляемых данным типом кодека.
Делается вывод о наличии области стабильного поведения максимальной длины
очереди и возможности определения граничного значения коэффициента
загрузки. Эксплуатация DVB-IPTV при коэффициентах загрузки свыше
граничного значения будет приводить к неконтролируемому поведению очередей.
Приведены данные о распределении вероятностей чисел заявок, приходящихся на
интервал обслуживании, а также представлены данные об автокорреляции чисел
заявок. Предложена формула аппроксимации зависимости средней длины очереди
от коэффициента загрузки и рассчитаны характеристические коэффициенты.
Делается вывод о необходимости выбирать размеры пакетных буферов
коммутатора исходя из максимальных значений длины очереди с учетом
граничного коэффициента загрузки при данных параметрах видеокодека.
В четвертой главе рассматривается разработанная система непрерывного
мониторинга видеотрафика в сети доступа. Даны обоснования использования
различных вариантов захвата трафика. Приводятся результаты исследования
производительности системы конвейерного анализа видеотрафика.
Пятая глава посвящена исследованию характеристик трафика видеокодека
H.264 в сети доступа оператора связи, с применением разработанной системы
конвейерного интервального анализа. Выработаны требования к объему пакетных
буферов коммутаторов доступа, необходимые для передачи видеотрафика с
различными параметрами. Разработана методика проверки реального объема
буфера коммутатора для оценки соответствия объема буфера потоку
видеотрафика. Проведены экспериментальные исследования структуры пакетных
очередей популярных моделей коммутаторов. Представленные данные
свидетельствуют о необходимости планирования распределения буферов
коммутатора и экспериментальной верификации действительного объема буфера
для эффективной передачи видеотрафика с заданными характеристиками.
Проведен эксперимент, подтверждающий достижение целевых значений
показателя PLR наиболее оптимальным образом при использовании
разработанной методики. В главе сформулированы рекомендации по повышению
эффективности передачи видеотрафика, настройке параметров качества
обслуживания на коммутаторах в зависимости от параметров видеокодека H.264.
Основные результаты диссертационного исследования состоят в
следующем:
1. Предложен, разработан и исследован конвейерный метод
интервального анализа, обеспечивающий потоковую обработку видеотрафика в
реальном масштабе времени, разработаны алгоритмы для программной
реализации метода.
2. Исследование интервальных характеристик видеотрафика стандарта
H.264 показало, что параметры видеокодека и мультиплексора оказывают
определяющее влияние на размеры очередей в телекоммуникационных системах
DVB-IPTV. Экспериментально получены предельные значения размеров очередей
и коэффициентов загрузки для используемых в DVB-IPTV вариантов
кодирования видеопотока.
3. Разработана система конвейерного анализа видеотрафика,
принимающая исходные данные непосредственно из сети, способная
рассчитывать размеры очередей и выводить результаты анализа в реальном
масштабе времени.
4. Разработанный метод определения объема и структуры буферной
памяти оборудования доступа позволяет оценить их соответствие требованиям
передачи конкретного видеопотока. Это позволяет, с учетом полученных
характеристик видеопотока, подобрать соответствующие параметры
оборудования и устранить потери видеотрафика обусловленные переполнением
пакетной очереди на участке сети.
5. Экспериментально подтверждено, что при резервировании пакетного
буфера в объемах, рассчитанных по представленной методике, достигается
целевой показатель для видеопотока заданного формата, при этом
дальнейшее увеличение объема буфера не требуется.
Публикации автора в научных журналах
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
5 (22 отзыва)
5 (145 отзывов)
4.9 (35 отзывов)
4.8 (1033 отзыва)
4.2 (25 отзывов)
4.1 (20 отзывов)
4.8 (373 отзыва)
5 (158 отзывов)
4.5 (330 отзывов)
