Расширенное суперпиксельное представление изображений для их обработки и анализа
Введение ………………………………………………………………………………………………………….. 4
Раздел 1 Суперпиксельное представление изображений ………………………………….. 11
1.1 Постановка задачи суперпиксельной сегментации изображений …………….. 11
1.2 Структуры данных для хранения суперпикселей …………………………………….. 14
1.3 Признаковое описание суперпикселей ……………………………………………………. 15
1.4 Качество суперпиксельной сегментации ………………………………………………… 16
1.5 Известные алгоритмы суперпиксельной сегментации изображений ………… 20
1.6 Предлагаемый метод формирования суперпиксельного представления
изображений ……………………………………………………………………………………………….. 26
1.7 Выбор алгоритма первичной сегментации ……………………………………………… 29
1.8 Алгоритм выделения областей ……………………………………………………………….. 30
1.9 Общие требования к признаковому описанию суперпикселей ………………… 35
Выводы и результаты по первому разделу …………………………………………………… 37
Раздел 2 Предлагаемая система признаков описания суперпикселей ………………… 40
2.1 Признаки для формирования первичного суперпиксельного представления
изображений ……………………………………………………………………………………………….. 40
2.2 Оценка геометрических характеристик областей ……………………………………. 41
2.3 Оценка яркостных характеристик областей ……………………………………………. 44
2.4 Полиномиальная аппроксимация поля яркости в областях ……………………… 48
Выводы и результаты по второму разделу ……………………………………………………. 53
Раздел 3 Объединение суперпикселей ……………………………………………………………… 54
2.1 Предикаты однородности суперпикселей ……………………………………………….. 55
3.2 Пересчёт характеристик суперпикселей …………………………………………………. 56
3.3 Иллюстрация объединения суперпикселей……………………………………………… 57
Выводы и результаты по третьему разделу ………………………………………………….. 63
Раздел 4 Решение прикладных задач анализа и обработки изображений по их
суперпиксельному представлению ………………………………………………………………….. 64
4.1 Фильтрация изображений ………………………………………………………………………. 64
4.1.1 Фильтрация аддитивного белого гауссовского шума ……………………… 65
4.1.2 Фильтрация импульсного шума …………………………………………………….. 70
4.2 Обнаружение структурных изменений …………………………………………………… 74
4.2.1 Известный алгоритм обнаружения изменений на основе
морфологического проектора …………………………………………………………………. 75
4.2.2 Решение задачи обнаружения структурных изменений, основанное на
суперпиксельном подходе ……………………………………………………………………… 76
4.2.3 Обнаружение изменений границ леса по разновременным
данным ДЗЗ …………………………………………………………………………………………… 85
4.3 Классификация объектов ……………………………………………………………………….. 89
4.3.1 Информационная технология оценки состава ареала растений по
данным ДЗЗ …………………………………………………………………………………………… 90
Выводы и результаты по четвёртому разделу …………………………………………….. 101
Заключение …………………………………………………………………………………………………… 103
Список литературы ……………………………………………………………………………………….. 105
Приложение А Обзор показателей качества суперпиксельной сегментации ……. 121
Приложение Б Акты об использовании результатов диссертации …………………… 124
Б.1 Акт об использовании результатов диссертации в институте систем
обработки изображений РАН – филиала федерального государственного
учреждения «Федеральный научно-исследовательский центр «Кристаллография
и фотоника» Российской академии наук …………………………………………………….. 124
Б.2 Акт об использовании результатов диссертации в акционерном обществе
«Самара-Информспутник» ………………………………………………………………………… 125
Первый раздел диссертации посвящён анализу исследований на тему суперпиксельной сег-
ментации изображений. В нём приведена формулировка задачи суперпиксельной сегментации, определены требования, которым должны удовлетворять суперпиксели, перечислены структуры данных для хранения суперпиксельного представления, выполнен обзор 23-х известных алгоритмов формирования суперпикселей, для каждого определены преимущества и недостатки, произведена проверка выполнения установленных свойств на основании качественного и количественного ана- лиза получаемого суперпиксельного представления, даны рекомендации по использованию в при- кладных задачах. Выявлены недостатки существующих подходов к формированию суперпиксель- ного представления. Также в рамках первого раздела предложен двухэтапный метод формирова- ния суперпиксельного представления изображений. На первом этапе он быстро делит изображение на суперпиксели, по которым оно может быть восстановлено с высокой точностью, на втором этапе – загрубляет полученное представление для устранения избыточности, порождённой в том числе шумовыми искажениями. Предложенный метод отличается от известных тем, что схема его работы позволяет одновременно с процессом сегментации производить расчёт расширенного множества признаков, описывающих суперпиксели. Обосновано применение для первичной сегментации быстрого алгоритма выделения областей c одним параметром, приведены его подробности. Сфор- мулированы общие требования к признакам суперпикселей в рамках предложенного метода.
В настоящей диссертационной работе под суперпиксельной сегментацией полутонового N −1,N −1
изображения x(n ,n ) 1 2 , где n ,n ∈Z , N ,N – размеры изображения, понимается разбие- {}
1 2 n1,n2=0 1 2 1 2
ние множества целочисленных координат всех
D = {0 ≤ n ≤ N −1, 0 ≤ n ≤ N −1} на M подмножеств так, что: Σ1122
M−1 DΣ=Dm,Dm1Dn=∅,∀ m≠ n,
пикселей изображения (1)
m=0
где каждое подмножество Dm образует на плоскости изображения связную область, а входящие в
неё пиксели обеспечивают истинность некоторого логического предиката однородности, опреде- лённого на этом подмножестве:
Q(Dm)=True, m, ∀
Q(DmDn)=False, для смежных∀Dm иDn.
(2)
Для суперпиксельной сегментации также должно дополнительно выполняться условие: J � M � N ,
где N = N1N2 – число пикселей изображения, а J – число содержательно интерпретируемых одно-
родных областей («объектов») на изображении.
В ходе анализа научной литературы на тему суперпиксельной сегментации были установле-
ны свойства, которые должны выполняться алгоритмами суперпиксельной сегментации, а также показатели качества суперпиксельной сегментации, по которым может быть произведена проверка этих свойств. Их соответствие представлено в таблице 1. Первые два свойства (точность сегмента- ции и эффективность алгоритма) должны выполняться всегда, требования выполнения остальных свойств зависит от решаемой прикладной задачи.
Таблица 1 – Показатели качества суперпиксельной сегментации для проверки выполнения свойств алгоритмов суперпиксельной сегментации
Для каждого из 23-х рассмотренных алгоритмов была выполнена проверка выполнения свойств суперпиксельной сегментации, перечисленных в таблице 1. По каждому показателю были определены алгоритмы, превосходящие остальные.
Свойство алгоритма
Точность сег- ментации
Эффективность алго- ритма
Сохранение ин- формации изобра- жения
Контроль над числом областей
Компактность, ре- гулярность размера и формы суперпик- селей
Показатель качества
полнота гра- ниц, ошибка недостаточной сегментации
вычислительная сложность, скорость работы и число па- раметров
коэффициент де- терминации, со- став признаков областей
наличие параметра
компактность, ви- зуальный анализ
Проведённый анализ известных методов и алгоритмов суперпиксельной сегментации пока- зал их большое разнообразие и, одновременно, ограниченные функциональные возможности. Во- первых, в суперпиксельных представлениях, формируемых известными методами, каждый супер- пиксель описывается малым набором характеристик (признаков). Расширение набора признаков суперпикселей могло бы повысить качество и универсальность обрабатывающих алгоритмов. Во- вторых, хорошее качество суперпиксельной сегментации, оцениваемое по любому показателю, обычно обеспечивается многопараметрическими алгоритмами, имеющими наиболее высокую вы- числительную сложность. В этой связи в диссертации предлагается новый метод формирования су- перпиксельного представления изображений, отличающийся от известных расширенным набором признаков суперпикселей, отвечающих требованиям низкой сложности вычисления при сегмента- ции изображения и достаточности для решения широкого класса прикладных задач.
На рисунке 1 показана схема предлагаемого метода формирования суперпиксельного пред- ставления изображений. Основным в этой схеме является блок первичной суперпиксельной сегмен- тации и расчёта признаков. Его назначение – быстрое существенное сокращение числа элементов изображения, то есть переход от пикселей к суперпикселям. При этом информация исходного сег- ментируемого изображения должна сохраняться с высокой точностью, поэтому здесь должны ис- пользоваться наиболее строгие предикаты однородности, даже в ущерб сильному сокращению чис- ла элементов суперпиксельного представления. Для каждого пикселя формируется вектор призна- ков по возможности с минимальными вычислительными затратами.
Рисунок 1 – Общая схема формирования суперпиксельного представления (пунктиром обозначены опциональные блоки)
Блок объединения (укрупнения) суперпикселей предполагает модификацию полученного первичного суперпиксельного представления путём объединения некоторых соседних суперпиксе- лей при использовании более мягких, чем в предыдущем блоке, предикатов однородности в соот- ветствии с требованиями, определяемыми конечной прикладной задачей. Следует заметить, что этот блок схемы не является обязательным, для некоторых задач достаточно ограничиться первич- ной сегментацией.
В случае работы с многокомпонентными изображениями предлагаемый метод применяется отдельно для каждого канала, при этом предикат однородности формируется применением логиче- ской операции «ИЛИ» к аналогичным предикатам в каналах.
Для того, чтобы выбрать алгоритм для выполнения первичной сегментации, из рассмотренных в рамках обзора алгоритмов были отобраны самые быстрые и малопараметричные, было выполнено их сравнение по показателям качества точности сегментации и способности сохранять информацию изображения (см. таблицу 1). По его результатам для получения первичной сегментации был выбран известный алгоритм выделения областей (ВО). Схема его работы изображена на рисунке 2.
Рисунок 2 – Схема обработки каждого пикселя алгоритмом ВО в процессе построчного сканирования изображения
Предикат однородности областей, используемый в алгоритме ВО:
Q(D): max x(n,n)− min x(n,n)≤2ε , (3)
m (n1,n2 )∈Dm 1 2 (n1,n2 )∈Dm 1 2 max
где εmax – входной параметр алгоритма – порог сегментации, имеющий смысл максимально до-
пустимой погрешности сохранения значения каждого пикселя в сегментированном (суперпиксель- ном) представлении изображения.
Для получения первичного суперпиксельного представления алгоритмом ВО рекомендуется устанавливать значения параметра сегментации εmax ≤ 4 , поскольку при них с высокой точностью
сохраняются границы объектов и информация изображения. При таких значениях параметра уже обеспечивается выполнение и второго требования к первичной сегментации – число элементов изображения существенно сокращается, что проиллюстрировано на примере тестовых полутоновых изображений (рисунок 3 и рисунок 4).
(а) (б) (в)
(г) (д) (е)
Рисунок 3 – Тестовые изображения: (а) «Птица», (б) «Церковь», (в) «Бабочка», (г) «Пейзаж», (д) «Лена», (е) «Космоснимок»
Рисунок 4 – Сокращение числа элементов описания изображений при переходе к первичному су- перпиксельному представлению
Суперпиксельное представление, формируемое описанным алгоритмом, резко сокращает чис- ло элементов описания изображений (уже при εmax = 2 количество элементов сокращается более, чем
на 50 %), что даёт ресурс для повышения вычислительной эффективности дальнейшей обработки.
В описание суперпиксельного представления изображения предлагается включать множе-
ство характеристик (признаков), отвечающее двум требованиям:
– низкой сложности вычисления в процессе сегментации изображения;
8
– достаточности для решения широкого класса прикладных задач.
Первое требование можно формализовать следующим образом. Пусть F(D) – признак, вы- численный по некоторому множеству пикселей (области) D. Для любых непересекающихся обла-
стей Dm , Dn должно существовать правило Ф , такое, что
F(D D )=ФF(D ),F(D ). (4)
mnmn
В рамках диссертационной работы рассматриваются следующие группы признаков, удовле-
творяющие этим требованиям: экстремальные, аддитивные, векторные и множественные.
Такие признаки (первичные) выбраны из соображений быстрого пересчёта при объединении нескольких суперпикселей. Они не обязательно впрямую используются для обработки изображе- ния. Однако по ним можно вычислить некоторые вторичные признаки, которые, хотя сами по себе и
не удовлетворяют условию объединяемости (4), нужны для решения различных прикладных задач.
предлагается набор из 25 конкретных базовых признаков − (таблица 2), которые необходимо 1 25
Во втором разделе на основе анализа типовых задач анализа и обработки изображений
в первую очередь включать в расширенное суперпиксельное представление. Они описывают гео- метрию, функцию яркости, взаимное расположение суперпикселей на изображении.
Таблица 2 – Предложенный набор базовых признаков суперпикселей
F =maxx(n,n ) F =minx(n,n ) (k) KD−1
n,n n,n 3{}
112212
F=L
12 12
k=0 F=max{n}
F =max{n} 4 n1 , n 2 1
F =min{n} 7 n1 , n 2 2
F =max{n n} − 10 n1,n2 1 2
F =min{n} 5 n1 , n 2 1
F=max{n n} + 8 n1,n2 1 2
F =min{n n} − 11 n1,n2 1 2
6 n1 , n 2 2 F=min{nn}+
9 n1,n2 1 2 F=μ∑=1
12 00 n1 , n2 F=μ∑=n
F =μ ∑=n 1310 1
F =μ ∑=n 14 01 2
2 15 20 n,n 1
n1 , n 2
F =μ ∑=n2
n1 , n 2 F=μ ∑=nn
F=η ∑=x(n,n)
16 02 2
18 00 n,n 1 2 F=η =n2xn,n
17 11n,n12
n1,n2 12 12
F =η ∑=nx(n,n) 1910 112
F =η ∑=nx(n,n) 2001 212
21 20 ∑1(12) n1 , n 2
n1 , n 2
F =η ∑=n2x(n,n)
n1 , n 2
F =η ∑=nnx(n,n)
(k) K−1 F24={N}
равных k .
Также во втором разделе диссертации показано, как предложенные базовые признаки су-
перпикселей пересчитываются в производные признаки, нужные для решения различных задач об- работки изображений: размеры суперпикселя, координаты центра прямоугольника, описывающего суперпиксель, площадь описывающего прямоугольника, площадь описывающего восьмиугольника, коэффициент аспекта, коэффициент площади, геометрический центр тяжести суперпикселя, цен- тральные моменты, параметры эллипса, имеющего те же значения центральных моментов второго порядка, другие признаки, инвариантные к положению суперпикселя на плоскости, координаты центра тяжести функции яркости в области суперпикселя, центральные моменты функции яркости, признаки, рассчитанные в результате центрирования функции яркости, среднее значение яркости в области.
В частности, решена задача полиномиальной аппроксимации значения поля яркости мето- дом наименьших квадратов по введённым базовым признакам суперпикселей.
Выведены выражения для расчёта суммарной квадратичной ошибки аппроксимации кон- стантой (5) и плоскостью (6) (линейная аппроксимация):
2202 212 n1 , n 2
2311 1212 n1 , n 2
k=0
F =∑x2(n,n) 25n,n 12
В таблице 2 L
(k)
заданные для обрабатываемого изображения, K D – длина этого списка. N (k ) – число пикселей,
– условные индексы (метки) областей, смежных с областью D, однозначно
ε 2 = F25 +
22 22 22
F2 2 18
(5)
ε=F25 F−, 12
1 × FFF +2FFF −F2F −F2F −FF2
12 15 16 13 14 17 14 15 13 16 12 17
×F F−FF +F F−FF +F F−FF + (6)
18(17 15 16) 19(14 12 16) 20(13 12 15)
+2F F (F F −F F )+2F F (F F −F F )+2F F (F F −F F ).
18 19 13 16 14 17 18 20 14 15 13 17 19 20 12 17 13 14
На графике рисунка 5 показана зависимость среднеквадратичной ошибки восстановления изображения по суперпиксельному представлению от значения порога первичной суперпиксельной
сегментации на примере тестового изображения «Лена».
Рисунок 5 – Среднеквадратичная ошибка восстановления изображения «Лена» по базовым призна- кам первичного суперпиксельного представления
При аппроксимации константой при εmax ≤ 3 и при линейной аппроксимации при εmax ≤ 4
обеспечиваются значения среднеквадратичной ошибки восстановления σ ≤ 2 , что приемлемо для большинства практических приложений.
В третьем разделе рассчитана вычислительная сложность процедуры укрупнения суперпик- селей, основанной на проверке соседних областей. Предложены предикаты однородности, по кото- рым может быть выполнено загрубление суперпиксельного представления, полученного первичной сегментацией. Они обеспечивают контроль ошибки аппроксимации суперпикселей и их размера (площади).
Поскольку во многих прикладных задачах достаточно контролировать не максимальную, а среднеквадратичную ошибку аппроксимации, то предлагается при объединении областей вместо (3)
использовать предикат:
где ε 2 (Dm Dn ) – суммарная квадратичная ошибка аппроксимации изображения в объединён-
ной области, которая, в частности, для аппроксимации константой задаётся формулой (5), а для ли- нейной аппроксимации – формулой (6);
F (D D ) – площадь объединённой области; 12 m n
ε 2 – допустимая среднеквадратичная ошибка аппроксимации. кв
Из-за шумовых искажений или локальных колебаний яркости исходного изображения в ре- зультате его первичной сегментации могут возникать «лишние» суперпиксели малой площади. Для их удаления предлагается применить процедуру слияния областей с предикатом однородности вида:
Q(D D ):F (D )≤S ∨F (D )≤S , (8) m n 12 m min 12 n min
где Smin – допустимая минимальная площадь суперпикселя. 10
Q(D D):ε2(DmDn)≤ε2, (7) m nF(DD)кв
12 m n
Предикаты однородности (7) и (8) обеспечивают контроль среднеквадратичной ошибки ап- проксимации суперпикселей и их размера. Показано как при объединении соседних суперпикселей пересчитываются базовые признаки, в частности ̧ как могут быть при этом проигнорированы значе- ния областей малой площади, появление которых потенциально может быть вызвано шумовыми искажениями. Если суперпиксель малой площади Dn , подлежащий объединению с суперпикселем
Dm , порожден шумом, его яркостные характеристики должны быть проигнорированы. При этом два экстремальных признака не меняют свои значения:
F(D D)=F(D ), F(D D)=F(D ), (9) 1mn1m 2mn2m
аддитивные и векторные признаки могут быть пересчитаны c допущением постоянства яркости ис- ходного изображения в пределах укрупнённого суперпикселя. Пересчёт аддитивных признаков:
где
На примере тестовых полутоновых изображений: с преимущественно константными обла- стями (рисунок 3a – «Птица»), с областями с плавными переходами яркости (рисунок 3в- «Бабочка»), со множеством мелких деталей (рисунок 3е-«Космоснимок») продемонстрировано зна- чительное сокращение числа их элементов при применении предложенной двухэтапной процедуры формирования суперпиксельного представления (рисунок 6).
F (D )
F(DD)=18 m F (DD), (10)
i m n F(D)i−6 m n 12 m
F (D )2
F (D D )= 18
25 m n F(D)12 m n
m F (D D ), (11) 12 m
i = 18, 23 . Пересчёт векторного признака:
18m
F (D D)=F (D )F F (D )F (D). (12)
24 m n 24 m 24F(D)12 n 12m
(а)
(б)
(в)
Рисунок 6 – Сокращение числа элементов изображения после объединения суперпикселей (без уда- ления малых областей: 1 – аппроксимация константой, 2 – линейная аппроксимация; после удале- ния малых областей (Smin=1): 3 – аппроксимация константой, 4 – линейная аппроксимация):
(а) «Птица», (б) «Бабочка», (в) «Космоснимок»
Предложенная процедура укрупнения суперпикселей обеспечивает лучшие результаты по со- кращению числа элементов изображения и соблюдению границ объектов при использовании линей- ной полиномиальной аппроксимации с предварительным удалением областей малой площади.
В четвёртом разделе на основе предложенного расширенного суперпиксельного представ- ления приводятся решения ряда прикладных задач анализа и обработки изображений: фильтрации аддитивного белого гауссовского шума и импульсного шума, обнаружения структурных изменений в паре разновременных изображений, классификации данных дистанционного зондирования Земли. Производится сравнение предложенных алгоритмов с известными, демонстрирующее их преиму-
щества.Для фильтрации аддитивного гауссовского шума предлагается производить восстановление
изображения по суперпикселям, находя оценку каждого путём полиномиальной аппроксимации по-
ля яркости. При использовании аппроксимации константой необходимо, чтобы в число признаков,
описывающих суперпиксели, входили двумерные степенные моменты области суперпикселя и
функции яркости нулевого порядка (базовые признаки F и F ), а также сумма квадратов яркостей 12 18
пикселей, входящих в состав суперпикселя (базовый признак F25 ). При линейной аппроксимации также в состав признаков должны входить двумерные степенные моменты области суперпикселя
первого и второго порядка (признаки F – F ) и двумерные степенные моменты функции яркости
13 17
первого порядка (признаки F и F ). 19 20
Предложенный алгоритм фильтрации аддитивного белого гауссовского шума по суперпик- селям сравнён с винеровским фильтром (рисунок 7).
(а)
(б)
(в)
Рисунок 7 – Зависимость среднеквадратичного отклонения ошибки восстановления от отношения сигнал/шум: d:(а) ρ=0,90;(б) ρ=0,95;(в) ρ=0,99
В ходе экспериментов на тестовых сгенерированных полутоновых кусочно-постоянных изображениях установлено, что при значениях отношения дисперсии сигнала к дисперсии шума выше 50 предложенный метод суперпиксельной фильтрации обеспечивает значение среднеквадра- тического отклонения ошибки восстановления ниже, чем фильтр Винера. Кроме того, предложен- ный метод в отличии от фильтра Винера показал себя хорошо при различных значениях коэффици-
ента корреляции между пикселями исходного изображения. Уже при значении 0,95 он значительно эффективнее винеровского фильтра.
В предлагаемом решении задачи фильтрации импульсного шума производится замена зна- чений суперпикселей малой площади на значения, полученные аппроксимацией по области, с кото- рой она может быть объединена. В диссертации также приводится сравнение предложенного алго- ритма фильтрации с медианным фильтром (таблица 3). При всех значениях доли зашумлённых пик- селей, предложенный алгоритм обеспечивает выигрыш по сравнению с медианной фильтрацией. В отличие от медианного фильтра он локализует искажённые области, поэтому ошибка при сильном зашумлении наблюдается в тех областях, где зашумлённые пиксели образуют группы, либо в обла- стях, соответствующих малым суперпикселям, появление которых вызвано чрезмерной сегментаци- ей, а не шумом.
Таблица 3 – Зависимость среднеквадратичного отклонения ошибки восстановления от доли зашум- лённых пикселей
Доля зашумлённых пикселей изображения
Суперпиксельный фильтр
Медианный фильтр 3×3
Предложенное решение задачи обнаружения структурных изменений в паре изображений основано на модифицированном морфологическом проекторе Пытьева. Его отличием от классиче- ской реализации проектора является использование в качестве структуры изображения суперпиксе- лей:
1, если n ,n ∈D ,
χx (n,n)= 1 2 m (13)
0,001 0,005 2,76 2,79 3,09 3,10
0,01 0,05 0,1 2,81 3,04 3,33 3,14 3,33 3,58
0,2 0,3 3,89 4,45 4,11 4,76
0,4 0,5 5,03 5,68 5,46 6,44
Dm 1 2 0, иначе. ∑y(n,n)χx (n,n)
1 2 Dm 1 2
xD∈D ∑χxn,n Dm12
Py= ∑ n1,n2 ˆ
()
χx (n,n). (14)
mΣ
n1,n2 Dm 1 2
Он позволяет учесть пространственные взаимосвязи на изображениях, что делает его по сравнению с классическим алгоритмом более устойчивым к нелинейным глобальным преобразованиям ярко- сти, а также устойчивым к аддитивному белому гауссовскому шуму при значениях отношения сиг- нал/шум выше 20 дБ. Предложенный метод обнаружения структурных изменений был применён для обнаружения изменений границ леса по данным дистанционного зондирования Земли с разре- шением 10 и 15 м, полученным для пяти участков, на которых производилась вырубка или был по- жар. Также было произведено сравнение его с алгоритмом класса «дерево решений» (таблица 4). Было установлено, что для данных с более высоким пространственным разрешением (10 м) эффек- тивнее алгоритм на основе суперпиксельной сегментации (вероятность верного обнаружения изме- нений границ леса выше 0,81, вероятность ложного обнаружения – ниже 0,1).
Таблица 4 – Описание тестовых данных ДЗЗ, полученных из открытых источников, и точность об- наруженных по ним изменений границ лесных насаждений (1 – алгоритм обнаружения, основанный на классическом проекторе Пытьева, 2 – предложенный алгоритм, 3 – алгоритм «дерево решений»)
Название Система м Дата снимка Дата снимка ДЗЗ 1 2
RTP RFP
123123 0,28 0,71 0,32 0,05 0,24 0,08
Стадион Landsat-8 15
29.05.2016 21.06.2016
12.09.2016
23.07.2015
23.07.2015 08.08.2015
08.06.2014
17.08.2016 29.06.2017
29.06.2017
06.06.2016
16.07.2016 07.09.2016
26.05.2016
ТБО Малинки-1 ТБО Малинки-2
Sentinel-2 10
Sentinel-2 10
0,21 0,85 0,68 0,87
0,91 0,81
0,54 0,72 0,18 0,72
0,67 0,68
– 0,02 0,04 –
– 0,04 0,06 –
0,78 0,20 0,10 0,17
0,93 0,08 0,09 0,10 0,83 0,01 0,13 0,21
0,96 0,01 0,01 0,07
Иркутск-1 Landsat-8, 15, Sentinel-2 10 Иркутск-2 Landsat-8 15 Иркутск-3 Landsat-8 15
Парк Патриот
Landsat-8 15
Также в рамках работы была разработана информационная технология оценки состава ареа- ла растений по мультиспектральным данным ДЗЗ высокого разрешения (от 1 до 5 м), позволяющая получить представление изображения в виде концентрации различных элементарных классов рас-
13
тительности. Оно может рассматриваться как результат классификации и непосредственно быть ин- терпретировано экспертами или может быть использовано для классификации более сложных клас- сов растительных сообществ. Разработанная технология состоит из следующих основных шагов:
А. Суперпиксельная сегментация многоканального изображения совместно с расчётом при- знаков суперпикселей. В итоге каждый суперпиксель может быть интерпретирован как участок земной поверхности, занятый только одним классом растительности.
Б. Формирование обучающей выборки малого размера путём сопоставления суперпиксель- ной разметки с заданной пользовательской маской элементарных классов растительности.
Предложенная технология в отличии от существующих аналогов проста в реализации и не требует наличия обучающей выборки большого объёма. Были определены наиболее информатив- ные признаки суперпикселей. Также на данных, полученных сенсором Геотон (0,8 м), было пока- зано, что разработанная технология обеспечивает суммарную ошибку оценки концентрации на 28% ниже по сравнению с поэлементной классификацией. Пример получаемого изображения в виде концентрации различных классов показан на рисунке 8.
(а) (б) (в)
(г) (д)
Рисунок 8 – Концентрация объектов различных классов, полученная с помощью предложенной тех- нологии: (а) класс 1 (разреженная травянистая растительность), (б) класс 2 (низкотравная расти- тельность), (в) класс 3 (высокая трава), (г) класс 4 (деревья и кустарники), (д) класс 5 (тени)
ЗАКЛЮЧЕНИЕ
В диссертации разработан и исследован новый метод формирования расширенного супер- пиксельного представления изображений, продемонстрирована его применимость и эффективность для решения широкого класса прикладных задач обработки и анализа визуальной информации.
Основные результаты диссертационной работы
1. Предложен метод формирования суперпиксельного представления изображений, отли- чающийся от известных расширенным множеством признаков суперпикселей, рассчитываемых в процессе сегментации. Предложенный метод реализован в виде двухэтапной вычислительной про- цедуры: первый этап – быстрая первичная сегментация, обеспечивающая сокращение числа элемен- тов изображения, и, сохраняющая высокую точность представления исходного изображения, второй этап – объединение суперпикселей с использованием более мягких, нежели на первом этапе, преди- катов однородности. Обосновано применение для первичной сегментации быстрого алгоритма вы- деления областей с одним параметром.
2. Сформулированы общие требования к признакам суперпикселей в рамках предложенно- го метода, определены классы признаков, удовлетворяющие этим требованиям: экстремальные, ад- дитивные, векторные и множественные.
14
3. Предложена система из 25 базовых признаков суперпикселей, с использованием которой может быть решено множество типовых задач обработки и анализа изображений: описание разме- ров, положения, площади, ориентации и других признаков формы, описание формы функции ярко- сти суперпикселя, аппроксимация изображения. Показано, как базовые признаки пересчитываются в производные признаки. Представлено решение задачи аппроксимации изображения в области су- перпикселя константой и плоскостью. Показано, как по предложенным базовым признакам супер- пикселей рассчитать среднеквадратичную ошибку аппроксимации.
4. Предложены предикаты однородности, по которым может быть выполнена процедура загрубления полученного первичного суперпиксельного представления. Они позволяют контроли- ровать среднеквадратичную ошибку аппроксимации суперпикселей. Показано как при объединении суперпикселей могут быть пересчитаны базовые признаки. В частности, как могут быть проигнори- рованы значения суперпикселей, порождённых шумом, при их присоединении к другим областям. При линейной полиномиальной аппроксимации с предварительным удалением областей малой площади обеспечиваются результаты по сокращению числа элементов изображения и соблюдению границ объектов лучше, чем при аппроксимации константой и без удаления областей.
5. Представлено экспериментальное подтверждение преимуществ предложенного метода формирования расширенного суперпиксельного представления изображений. Продемонстрирована применимость разработанного метода для решения различных прикладных задач на примере филь- трации, аппроксимации, поиска изменений и классификации. Показана эффективность решения прикладных задач и представлено сравнение с широко известными аналогами, работающими с растровым представлением.
По мнению автора, дальнейшие исследования целесообразно направить на расширение круга решаемых задач обработки и анализа изображений: обнаружения и локализации объектов, компрес- сии, текстурного анализа и др.
Диссертация посвящена разработке и исследованию нового метода
формирования расширенного суперпиксельного представления изображений,
предназначенного для решения широкого класса прикладных задач анализа и
обработки визуальной информации.
Актуальность темы исследования
Созданный на сегодня огромный научно-методический инструментарий
позволяет решать практически любые прикладные задачи, связанные с анализом
визуальной информации. Тем не менее, постоянно растущие требования к
скорости, точности и другим качественным характеристикам средств обработки
изображений стимулируют дальнейшие исследования в этой области.
Подавляющее большинство известных методов обработки и анализа
изображений использует растровое представление обрабатываемых двумерных
данных в виде регулярной решётки значений (отсчётов, пикселей) функции
яркости или какого-либо иного физического параметра, распределённого на
плоскости [1-6]. С одной стороны, такое представление является наиболее простым
и естественным, позволяет создать глубокую теорию и хорошо обоснованные
алгоритмы обработки многомерных сигналов. С другой стороны, растровое
представление является заведомо избыточным, не учитывает состав, форму,
взаимное расположение и другие характеристики объектов на изображённой сцене.
Сравнительно недавно зарубежные авторы стали интенсивно развивать
концепцию суперпиксельного представления изображения, то есть разбиения всего
множества пикселей на связные области, отвечающие некоторым
предустановленным требованиям однородности [7-10]. Поскольку число этих
областей (суперпикселей) во много раз меньше числа пикселей, а каждый
суперпиксель в идеале входит в состав только одного изображённого объекта,
можно ожидать значительного ускорения и повышения качества обработки
изображения. По существу, этими авторами были «переоткрыты» (с некоторыми
непринципиальными модификациями) давно известные процедуры сегментации
[3, 5, 11-15]. В этом смысле новизна идеи суперпикселей выглядит сомнительной,
хотя её детализация и реализационные аспекты представляют определённый
научный и прикладной интерес. Она нашла применение в задачах классификации
[16-22, 23*, 24*], локализации и обнаружения объектов [25-31, 32*, 33*, 34*, 35*],
трекинга объектов [36-38], семантической сегментации [39-45], фильтрации [46, 47,
48*, 49*, 50*] и др.
Научные публикации и фреймворки, представленные в интернете,
демонстрируют большое разнообразие эвристических алгоритмов генерации
суперпиксельного представления изображений [8, 51-71]. Каждый из них имеет
свой набор преимуществ и недостатков и, как правило, ориентирован на решение
узких классов прикладных задач. Причём эти задачи решаются не всегда с
удовлетворительным качеством. Разнообразие алгоритмов формирования
суперпиксельного представления привело к возникновению ряда научных работ,
посвящённых обзору и сравнению большинства из них [8-10, 72-75], однако, в этих
работах практически отсутствуют рекомендации по использованию тех или иных
алгоритмов в конкретных прикладных задачах.
Кроме того, актуальным остаётся вопрос признакового описания
суперпикселей, поскольку при решении прикладных задач анализа и обработки
изображений на основе суперпиксельного представления [17, 18, 22, 39, 44, 76-83],
как правило, используется малый набор характеристик суперпикселей и их выбор
чаще всего не аргументирован. Очевидно, это сужает возможности обработки
изображений. Расширение набора признаков суперпикселей может повысить
качество обрабатывающих алгоритмов.
Таким образом, представляется, что потенциал суперпиксельной обработки
изображений далеко не исчерпан, но его раскрытие требует существенного
развития данного подхода как в направлении повышения вычислительной
эффективности и унификации обрабатывающих алгоритмов, так и с точки зрения
расширения признакового описания суперпикселей.
Объектом исследования является суперпиксельное представление
цифровых изображений.
Предметом исследования является формирование расширенного
суперпиксельного представления для решения прикладных задач анализа и
обработки изображений.
Цель и задачи исследования
Целью диссертации является разработка нового метода формирования
расширенного суперпиксельного представления, с использованием которого могут
быть решены различные задачи анализа и обработки цифровых изображений.
Для достижения поставленной цели в диссертации решаются следующие
задачи.
1. Аналитический обзор известных методов представления изображений в
виде суперпикселей.
2. Разработка метода формирования суперпиксельного представления
изображений, обладающего преимуществами перед известными методами.
3. Разработка системы признаков для расширенного суперпиксельного
представления изображений, с использованием которой может быть решён
широкий круг прикладных задач.
4. Исследование применимости разработанного метода формирования
суперпиксельного представления изображений для решения различных
прикладных задач.
Научная новизна
1. Предложен новый двухэтапный метод формирования суперпиксельного
представления изображений: на первом этапе он быстро выполняет первичную
сегментацию, сокращая число элементов изображения, и, сохраняя при этом
высокую точность представления исходного изображения, на втором этапе –
объединяет суперпиксели с использованием более мягких, чем на первом этапе,
предикатов однородности. Предложенный метод отличается от известных
расширенным множеством признаков суперпикселей, которые рассчитываются
одновременно с процессом сегментации.
2. Сформированы требования к базовым признакам (непосредственно
вычисляемым в процессе сегментации), выполнение которых обеспечивает
широкую применимость формируемого суперпиксельного представления: базовые
признаки должны обладать низкой сложностью пересчёта при укрупнении
суперпикселей и должны легко пересчитываться в производные признаки, нужные
для решения конкретных прикладных задач. Определены классы признаков,
удовлетворяющие этим требованиям: аддитивные, экстремальные, векторные и
множественные.
3. Предложена система из 25 базовых признаков суперпикселей,
удовлетворяющих установленным требованиям. С их использованием могут быть
решены различные типовые задачи анализа и обработки изображений: описание
размеров, положения, площади, ориентации и других признаков формы, описание
формы функции яркости суперпикселя, аппроксимация изображения. Показано,
как производные признаки суперпикселей могут быть рассчитаны по введённым
базовым признакам.
4. Предложена процедура объединения областей, используемая в
разработанном методе формирования расширенного суперпиксельного
представления изображения. Предложены предикаты однородности областей, по
которым они могут быть объединены, выведены выражения для пересчёта базовых
признаков при объединении областей.
5. На примере решения ряда прикладных задач анализа и обработки
изображений (аппроксимации, фильтрации аддитивного и импульсного шума,
выявления структурных различий в паре изображений, классификации снимков
В диссертации разработан и исследован новый метод формирования
расширенного суперпиксельного представления изображений,
продемонстрирована его применимость и эффективность для решения широкого
класса прикладных задач обработки и анализа визуальной информации.
Основные результаты диссертационной работы
1 Предложен метод формирования суперпиксельного представления
изображений, отличающийся от известных расширенным множеством признаков
суперпикселей, рассчитываемых в процессе сегментации. Предложенный метод
реализован в виде двухэтапной вычислительной процедуры: первый этап – быстрая
первичная сегментация, обеспечивающая сокращение числа элементов
изображения, и, сохраняющая высокую точность представления исходного
изображения, второй этап – объединение суперпикселей с использованием более
мягких, чем на первом этапе, предикатов однородности. Обосновано применение
для первичной сегментации быстрого алгоритма выделения областей с одним
параметром.
2 Сформулированы общие требования к признакам суперпикселей в
рамках предложенного метода, определены классы признаков, удовлетворяющие
этим требованиям: экстремальные, аддитивные, векторные и множественные.
3 Предложена система из 25 базовых признаков суперпикселей, с
использованием которой может быть решено множество типовых задач обработки
и анализа изображений: описание размеров, положения, площади, ориентации и
других признаков формы, описание формы функции яркости суперпикселя,
аппроксимация изображения. Показано, как базовые признаки пересчитываются в
производные признаки. Представлено решение задачи аппроксимации
изображения в области суперпикселя константой и плоскостью. Показано, как по
предложенным базовым признакам суперпикселей рассчитать
среднеквадратичную ошибку аппроксимации.
4 Предложены предикаты однородности, по которым может быть
выполнена процедура загрубления полученного первичного суперпиксельного
представления. Они позволяют контролировать среднеквадратичную ошибку
аппроксимации суперпикселей. Показано как при объединении суперпикселей
могут быть пересчитаны базовые признаки. В частности, как могут быть
проигнорированы значения суперпикселей, порождённых шумом, при их
присоединении к другим областям. При линейной полиномиальной аппроксимации
с предварительным удалением областей малой площади обеспечиваются результаты
по сокращению числа элементов изображения и соблюдению границ объектов
лучше, чем при аппроксимации константой и без удаления областей.
5 Представлено экспериментальное подтверждение преимуществ
предложенного метода формирования расширенного суперпиксельного
представления изображений. Продемонстрирована применимость разработанного
метода для решения различных прикладных задач на примере фильтрации,
аппроксимации, поиска изменений и классификации. Показана эффективность
решения прикладных задач и представлено сравнение с широко известными
аналогами, работающими с растровым представлением.
Дальнейшие исследования целесообразно направить на расширение круга
решаемых задач обработки и анализа изображений: обнаружения и локализации
объектов, компрессии, текстурного анализа и др.
Публикации автора в научных журналах
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!