Модель, метод и устройство построения карты глубин стереоизображения на основе иерархической нечёткой системы

Во введении обосновывается актуальность темы диссертационной работы, определяются область исследования, цель и задачи, научная новизна и практическая значимость работы. Также выделяются основные положения, выносимые на защиту, приводится информация об апробации и общей структуре диссертации.
В первой главе выполняется анализ существующих систем и устройств для построения карты глубин и методов выделения границ объектов, рассмотрены особенности, влияющие на точность построения карты глубин, и методы повышения точности её формирования. Выполнен патентный поиск аналогов и произведён их обзор и анализ. Произведена классификация методов и устройств построения карты глубин (рисунок 1).
Автоматические Полуавтоматические Ручные
Рисунок 1 – Классификация методов и устройств построения карты глубин стереоизображения
В большинстве рассмотренных моделей и методов, одним из основных факторов, ухудшающим точность построения карты глубин, является изначально некачественная стереопара, где пиксели на левом изображении более засвечены или кардинально затемнены относительного правого кадра и наоборот. Решением данной задачи является применение методов построения карты глубин стереоизображения, мало зависящих от
Локальны е
Глобальные
С интеллектуальными алгоритмами
Без интеллектуальных алгоритмов

Нейронные сети
Нечеткая логика
Гибридные системы
Экспертные системы

Специализированными техническими устройствами
По стереоизображениям
–SAD –SGMA –MAD – SSD
– M SD
–NCC
– SSDA
– SATD
– Определение градиента расстояний от границ
– Камеры структурированного света (SL )
– Камеры, измеряющие задержку отраженного света (ToF) – Пленоптические камеры или камеры светового поля (LF) – Lidar устройства
качества исходной стереопары. В работе была представлена гипотеза, чтобы яркость пикселей исходной стереопары меньше оказывала влияние на конечную карту глубин стереоизображения, требуется использовать аппарат нечёткой логики, позволяющий задать интенсивность яркостей пикселей стереопары диапазоном значений.
Во второй главе разработана обобщённая математическая модель иерархической нечёткой системы построения карты глубин стереоизображения (MИНСПКГ), метод и её реализация в задачах выделения границ объектов по стереопаре и вычисления значения диспаритета при помощи двухуровневой иерархической нечёткой системы.
MИНСПКГ в теоретико-множественном описании задаётся в виде кортежа по формуле (1):
MИНСПКГ  МППИ;MВК;MИНС ,
где МППИ – математическая модель предварительной подготовки изображений, MВК –
математическая модель выделения контуров модифицированным фильтром Канни, MИНС – математическая модель иерархической нечёткой системы.
Математическая модель предварительной подготовки изображений MППИ формируется за два шага.
Шаг 1. Преобразование цветного изображения в градации серого рассчитывается по формуле (2) (см.рис.12,б):
I 0,299R0,587G0,114B, (2) где I – интенсивность яркости градации серого в пикселе; R – значение интенсивности красного цвета в пикселе; G – значение интенсивности зелёного цвета в пикселе; B –
значение интенсивности синего цвета в пикселе.
Шаг 2. Размытие фильтром Гаусса, преобразованного в градации серого
изображения вычисляется по формуле (3) (см.рис.12,в):
2 4 5 4 2 I(i2,j2) I(i2,j1) I(i2,j) I(i2,j1) I(i2,j2) 
i2 j2 b   4 9 12 9 4
  IIIII 2 4 5 4 2  (i2,j2) (i2,j1) (i2,j) (i2,j1) (i2,j2) 
где Кi,j – значение для каждого пикселя после размытия; Аi,j – матрица значений интенсивности исходного изображения;  – операция свертки, b – коэффициент нормировки; i – номер пикселя изображения вдоль оси y (i=1…h), j –номер пикселя изображения вдоль оси x (j=1…w), h – высота изображения в пикселях, w – ширина изображения в пикселях.
Одним из параметров, изменяющих точность построения карты глубин стереоизображения, является коэффициент нормировки b, который подбирается экспериментально и равен 114, в традиционном фильтре Гаусса b=159.
Формулы (2) – (3) формируют математическую модель предварительной подготовки изображений МППИ в которой по вычисленным параметрам Ii,j и Кi,j в каждом пикселе создаются размытые левое и правое изображения в оттенках градаций
серогоМ.атематическаямодельвыделенияконтуровмодифицированнымфильтром Канни MВК формируется за 6 шагов:
Шаг 1. Расчёт градиента Gi,j по формуле (4) (см.рис.13,а):
G  G2G2, (4)
i,j x y
  IIIII
2 2 14 9 12 9 4
Ki,j   5 12 15 12 5Ai,j.
 (i1,j2) (i1,j1) (i1,j) (i1,j1) (i1,j2) 
Ai,j  I(i,j2) I(i,j1) I(i,j) I(i,j1) I(i,j2) , (3)
I I I I I   (i1,j2) (i1,j1) (i1,j) (i1,j1) (i2,j2) 
(1)
где Gx – градиент вдоль оси х; Gy – градиент вдоль оси y.
Gx и Gy определяются в окне размером 3×3 по формуле (5):
1 0 1 1 2 1 K(i1, j1) 11  11  
K(i1, j) K(i,j)
K(i1, j1) 
 (5)
Gx 2 0 2Ki,j; Gy 0 0 0Ki,j; Ki,j K(i,j1) i1 j11 0 1 i1 j11 2 1 K
K(i,j1) . K 
     (i1,j1)
Шаг 2. Определение октанта i,j в зависимости от угла направления градиента,
(i1,j1)  который определяется арктангенсом отношения градиентов по формуле (6):
  round((atan( Gy )) /  / 4), (6)
Gx
i,j
где round – функция округления результата i,j до целого, atan – функция определения
арктангенса отношения градиентов.
Направление края границы объекта в модифицированном фильтре Канни
рассматривается по направлению градиента в диапазоне от 0° до 360° (в традиционном фильтре Канни направление градиента рассматривается в диапазоне от 0° до 180°). Для определения октанта в формуле (6) добавлено выражение  / 4 , которое округляется до целого значения и вычисляются возможные значения октанта в диапазоне i,j 4;4.
Шаг 3. Определение максимального значения градиента Gmax в окне 3х3 по формуле (7):
Gmax = max (Gi,j). (7)
Шаг 4. Проверка правил принадлежности пикселя к границе. Для определения принадлежности текущего пикселя к границе необходимо рассмотреть обрабатываемый и соседние пиксели (рисунок 2).
Рисунок 2 – Обрабатываемый (P8) и соседние пиксели (P0-P7)
Правила определения принадлежности пикселя к границе зависят от значения
октанта i,j, например, при ((0)ИЛИ(4))правило определяется по формуле (8):
Если (G(P8) > G(P2)) & (G(P8) > G(P6)) & (G(P8) > G  T ) То P8 = 1, max high
Иначе Если (G(P8) > G(P2)) & (G(P8) > G(P6)) & (G(P8) < G Иначе P8 = 0. K (i1,j) (8) Правила для остальных значений i,j представлены в пункте 2.1.2 диссертационного исследования. ЕСЛИ обрабатываемый пиксель P8 = 1, ТО это граница (закрашивается белым цветом), ИНАЧЕ ЕСЛИ P8 = 0, ТО этот пиксель не является границей (закрашивается черным цветом). Значения верхнего и нижнего порогов определяются экспериментально и равны соответственно Thigh=0,1 и Tlow=0,01. Пороговые значения Thigh и Tlow изменяют точность построения карты глубин стереоизображения, оцениваемую коэффициентом RMSE. Шаг 5. Удаление концевых точек. Полученные с помощью модифицированного фильтра Канни границы обладают недостатками, такими как неравномерная толщина и разрывы. Есть ряд пикселей, которые располагаются около границ и их требуется удалить. Тем самым сокращается число дальнейших обрабатываемых точек T ) То P8 = 1, max low иерархической нечёткой системой и как следствие сокращается число вычислительных операций в устройстве построения карты глубин стереоизображения. Пиксели P0... P8 принимают значения логического «0» или «1». Получив значение пикселей P0... P7 необходимо определить значение P8' по формуле (9): P 'P &!((P &P &P &P &P &P &P &P )(P &P &P &P &P &P &P &P ) 880123456701234567 (P &P&P &P &P &P &P &P)(P &P&P &P &P &P &P &P) (9) 0123456701234567 (P &P&P &P &P &P &P &P)), 01234567 где ! – операция общей инверсии. ЕСЛИ пиксель P ' имеет значение «0», ТО пиксель закрашивается белым цветом, ИНАЧЕ ЕСЛИ пиксель P ' имеет значение «1», ТО закрашивается черным цветом. По 8 формуле (9) реализуется удаление концевых точек, в которой пикселям присваиваются значения логического «0» или «1». Шаг 6. Объединение разрывов. Выполнив выделение границ и удалив концевые точки необходимо проверить границы на разрывы и если они обнаружены, то выполнить их объединение. По формуле (10) выполняется определение наличия разрывов границ: P ''((P P )&(P P ))((P P)&(P P ))((P P )&(P P ))((P P )&(P P ). 80734015412562367 (10) В формуле (10) если P8 '' 1, то пиксель P8 '' закрашивается белым цветом, иначе черным цветом. Формула (10) позволяет объединить контура границ, которые не определились на предыдущих этапах (см.рис.13,в). Формулы (4) – (10) формируют математическую модель выделения контуров модифицированным фильтром Канни МВК, позволяющую на изображениях стереопары выделить границы, удалить концевые точки и объединить разрывы границ. Математическая модель иерархической нечёткой системы MИНС, формируется за 11 шагов. Выполнив предварительную подготовку изображений и выделение контуров на левом и правом изображениях стереопары с использованием модифицированного фильтра Канни, строится иерархическая нечёткая система. Структура иерархической нечёткой системы представлена на рисунке 3. Рисунок 3 – Структурно-функциональная организация иерархической нечёткой системы построения карты глубин стереоизображения Шаг 1: Расчёт разности уровней интенсивностей для левого и правого изображений стереопары. Вокруг пикселя с координатами (i, j) формируется окно размером 3х3. После чего находится разница значений интенсивностей по каждому из трёх каналов R, G, B между левым и правым изображениями, рассчитываемое по формуле (11): Sumi,j,d R G BI im,jnI imd,jn, (11) vvv  v v v LR где Sum – сумма абсолютных разностей; IL, IR – интенсивность цвета на левом и правом изображениях; v – размер окна; m, n – координаты пикселей внутри окна, d – величина смещения в пикселях. Определив сумму разностей значений интенсивностей по трём каналам R, G, B в окне размером 3х3 строится массив значений Sum, в котором для точки с координатами (i, j) определяются суммы разностей между левым и правым изображениями в зависимости от величины смещения d в пикселях. Для улучшения точности построения карты глубин стереоизображения вычисляется сумма абсолютных разностей в трёх позициях: центральная позиция окна поиска SumC (формула 11), смещённая позиция окна поиска влево на три пикселя SumL (формула 12) и смещённая позиция окна поиска вправо на три пикселя SumR (формула 13), что позволяет улучшить точность построения карты глубин стереоизображения, оцениваемою коэффициентом пикового отношения сигнал/шум PSNR: vvv  v v v vvv SumLi3,j,d R G BI (i3)m,jnI (i3)md,jn; (12)  v v v LR SumRi3,j,d R G BI (i3)m,jnI (i3)md,jn. (13) LR Шаг 2: Построение функций принадлежности нечёткой системы первого уровня иерархии. На вход первой ступени иерархии нечёткой системы поступают переменные SumC, SumL и SumR, которые являются входными, а выходом является значение координаты минимального значения диспаритета dsum. Значения SumC, SumL и SumR находятся в диапазоне от 0 до 10000. Расчёт степеней функций принадлежности выполняется по формуле (14):  0, если Sum[a;c];  (Sum)  Suma , если  ba Sum[a;b]; Sum[b;c]; (14)  cSum, если   cb где a, b, c – координата вершины соответствующего треугольника (см. рис.4а). Входные и выходная функции принадлежности изображены на рисунке 4. а) б) в) Рисунок 4 – Функции принадлежности первого уровня иерархии нечёткой системы: а-в г) – входные переменные SumC, SumL, SumR; г – выходная переменная диспаритет dsum Шаг 3: Синтез нечётких правил первого уровня иерархии. Для обеспечения свойства полноты базы нечётких правил и с учётом рекомендаций А. Пегата минимальное число правил определяется как rk=33=27 (где r – количество функций принадлежности у нечёткой переменной, k – количество нечётких переменных). Нечёткие правила задаются по методу mean (метод среднего) и представлены в формуле (15): N1=(A1+B1+C1)/3; N5=(A1+B2+C2)/3; N9=(A1+B3+C3)/3; N13=(A2+B2+C1)/3; N17=(A2+B3+C2)/3; N21=(A3+B1+C3)/3; N25=(A3+B3+C1)/3; N2=(A1+B1+C2)/3; N6=(A1+B2+C3)/3; N10=(A2+B1+C1)/3; N14=(A2+B2+C2)/3; N18=(A2+B3+C3)/3; N22=(A3+B2+C1)/3; N26=(A3+B3+C2)/3; N3=(A1+B1+C3)/3; N7=(A1+B3+C1)/3; N11=(A2+B1+C2)/3; N15=(A2+B2+C3)/3; N19=(A3+B1+C1)/3; N23=(A3+B2+C2)/3; N27=(A3+B3+C3)/3. N4=(A1+B2+C1)/3; N8=(A1+B3+C2)/3; N12=(A2+B1+C3)/3; N16=(A2+B3+C1)/3; (15) N20=(A3+B1+C2)/3; N24=(A3+B2+C3)/3; Шаг 4: Усечение функций принадлежности в зависимости от нечётких правил. Осуществляя нечёткую композицию выполняется свертка 27 нечётких правил к 11 заключениям нечёткого вывода, чтобы каждое композиционное нечёткое правило соответствовало каждому терму выходной переменной. Нечёткая импликация рассчитывается по формуле (16): Y1 = N27; Y4 = (N18+N20+N22)/3; Y7 = (N9+N11+N13)/3; Y10 = (N2+N4)/2; Y2 = (N24+N26)/2; Y5 = (N15+N17+N19)/3; Y8 = (N6+N8+N10)/3; Y11 = N11. Y3 = (N21+N23+N25)/3; Y6 = (N12+N14+N16)/3; Y9=(N3+N5+N7)/3; (16) Шаг 5: Дефаззификация чёткого значения dsum. Вычисляется по методу упрощённого центра тяжести и представлена в формуле (17) (см. рис. 15,б): 11 M Y ii dsum  i1 Y , (17) i1 где Mi – метки выходной нечёткой функции принадлежности (рис. 4,г). i Рассчитанные значения dsum по формуле (17) записываются в массив значений диспаритета на выходе первого уровня иерархии нечёткой системы. Шаг 6: Поиск минимального значения диспаритета dsum в массиве l-тых пикселей относительно обрабатываемого (l=64). Определив dsum, относительно обрабатываемого пикселя рассматриваются правые от него l-тые пиксели, расположенные в строке и для них, также вычисляется dsum, после этого выполняется поиск минимального значения dsum в этих l пикселях. Обнаружив минимальное значение dsum в массив записывается номер пикселя l с наименьшим значением dsum (рисунок 5), определяемый по формуле (18). Значения dm являются входными данными переменной второго уровня иерархии нечёткой системы (см.рис.3). Рисунок 5 – Пример определения координаты пикселя с минимальным значением диспаритета (dm=6) dm=min(dsum1;...;dsumk). (18) Номер пикселя с минимальным значением dsum равняется 6, поэтому dm = 6 (см.рис. 5). Шаг 7: Определение расстояния до границы в пикселях выполняется следующим образом: Для всех пикселей в строке начиная с нулевого проверяется условие: ЕСЛИ P8 = 0 (пиксель не является границей и закрашен черным цветом), ТО начинается цикл поиска границы до тех пор, пока P8 не станет равен «1» (является границей и закрашен белым цветом). Каждому пикселю не являющимся контуром присваивается значение градиента, инкрементируемое на единицу до тех пор, пока не обнаружен пиксель- граница. Когда пиксель-граница найдена, то цикл подсчёта количества пикселей, не являющихся контуром обнуляется и начинается вновь с пикселя-границы. Проход выполняется по всей ширине изображения. Завершив проход по строке, выполняется переход вниз на одну строку, и аналогично считаются пиксели до границы. Данная операция выполняется по всем строкам изображения. Заканчивается проход, когда проверены все пиксели изображения. При этом цикл подсчёта пикселей выполняется слева направо и справа налево. Выполнив проход слева и справа вычисляется Crl(disL) и Crl(disR), как разница расстояний (disL для левого и disR правого изображения стереопары, значения disL и disR принадлежат диапазону [0;255]), взятая по модулю, между левым и правым проходами. Тем самым определяются расстояния в пикселях до контуров объектов слева и справа относительно краёв на левом и правом изображениях стереопары (формулы 19-20). disL disR L disL 1, если P  0 (не контур). R disL 1, если P  0 (не контур). (19) L8R8 L disR 1, если P  0 (не контур). R disR 1, если P  0 (не контур). (20) L8R8  0, если P  1 (контур); disL  0, если P  1 (контур); 88  0, если P  1 (контур); disR  0, если P  1 (контур); 88 где disR L и disR R – расстояния в пикселях до границ слева и справа на правом стереоизображении; disLL и disLR – расстояния в пикселях до границ слева и справа на левом стереоизображении. Далее строится карта расстояний градиентов до границ объектов (см. рис.14). В которой пиксели находящиеся ближе к границе имеют более светлый оттенок, а удаленные от контура более тёмные. Переменные Crl(disL) и Crl(disR) рассчитываются по формулам (21) и (22): Crl(disL)i,j,d disLLim,jndisLRimd,jn, Crl(disR)i,j,d disRLim,jndisRRimd,jn. (22) Шаг 8: Построение функций принадлежности нечёткой системы второго уровня иерархии. Входные и выходная функции принадлежности изображены на рисунке 6. Входными переменными второго уровня иерархии являются переменные Crl(disR), Crl(disL), dm, а выходная переменная значения диспаритета по которому строится карта глубин стереоизображения. а) б) в) г) Рисунок 6 – Функции принадлежности второй ступени иерархии нечёткой системы: а-в – входные переменные dm, Crl(disR), Crl(disL); г – выходная переменная диспаритет D Входные функции принадлежности второго уровня иерархии задаются формулой (14). Шаги 9. Синтез нечётких правил второго уровня иерархии. По формуле (15) вычисляются значения N1 '...N27 ' . Шаг 10. Усечение функций принадлежности в зависимости от нечётких правил для второго уровня иерархии. По формуле (16) вычисляются значения Y '...Y '. 1 11 Шаг 11. Расчёт значения диспаритета на выходе второго уровня иерархии. По формуле (17) вычисляются значение диспаритета D. Шаги 9 – 11 выполняются аналогично шагам 3÷5. По формулам (11) – (22) формируется математическая модель иерархической нечёткой системы МИНС, в которой рассчитываются значения диспаритета по двум изображениям стереопары. (21) По формулам (1) – (22) реализуется обобщённая математическая модель иерархической нечёткой системы построения карты глубин стереоизображения MИНСПКГ и синтезируется метод построения карты глубин стереоизображения, выполняемый за 12 шагов: 1. Получить два цветных изображения стереопары (рисунок 11). 2. Преобразовать цветные изображения стереопары в градации оттенков серого (формула 2). 3. Выполнить размытие изображений фильтром Гаусса (формула 3). 4. Рассчитать значение градиентов и определить октант в зависимости от угла направления градиента (формулы 4-6). 5. Выполнить поиск пикселя с максимальным значением градиента в окне 3х3 (формула 7). 6. Выделить границы на двух изображениях стереопары (формула 8). 7. Удалить концевые точки (формулы 9). 8. Объединить разрывы границ (формула 10). 9. Сформировать первый уровень иерархической нечёткой системы и получить значение диспаритета dsum (формулы 11-17). Найти координату пикселя dm (формула 18) с минимальным значением dsum в правых k пикселях и запомнить его координату. 10. Вычислить разницу расстояний в пикселях до границ для левого и правого стереоизображений (формулы 19-22). 11. Сформировать второй уровень иерархической нечёткой системы и получить значение диспаритета D (формулы 14-17). 12. Построить карту глубин стереоизображения по полученным в иерархической нечёткой системе значениям диспаритета D. Новизна метода построения карты глубин стереоизображения заключается сочетании последовательности логических и арифметических операций, выполняемых на этапах: размытия, преобразованного в градации серого изображений стереопары, выделения контуров модифицированным фильтром Канни, удаления концевых точек, объединения разрывов и расчёта значения диспаритета двухуровневой иерархической нечёткой системой построения карты глубин стереоизображения. Метод позволяет сформировать новые зависимости между входными и выходными переменными иерархической нечёткой системы: D  f (dm;Crl(disR);Crl(disL)) и dsum f(SumC;SumR;SumL), используемые для построения карты глубин стереоизображения. В третьей главе рассматривается структурно-функциональная организация построения карты глубин стереоизображения, её алгоритмизация и программная реализация, представленная псевдокодами. На рисунке 7 представлена структурно-функциональная организация устройства построения карты глубин стереоизображения. RR БВЦК GR BR RL БВЦК GL BL БПГС IR БРИ KRi,j БРГ GR БОУНГ θR БОМЗГ GR max БПГС IL БРИ KLi,j БРГ GL БОУНГ θL БОМЗГ GL max БФПВГ PL8 БУКТ PL БОР БФПВГ PR8 БУКТ PR БОР БОРГ БОРГ SumL БРРУИ SumC SumR disRL disRR disLL disRR БВРРГ БВРРГ PR8'' PL8'' Crl(disR) Crl(disL) dm D БИНС 1 уровень иерархии dsum БИНС 2 уровень иерархии БОМЗД Рисунок 7 – Структурно-функциональная организация построения карты глубин стереоизображения На рисунке 7 представлены следующие блоки и связи между ними: БВЦК – блок ввода цветовых компонентов; БПГС – блок преобразования в градации серого; БРИ – блок размытия изображения; БРГ – блок расчёта градиента; БОУНГ – блок определения угла направления градиента; БОМЗГ – блок определения максимального значения градиента; БФПВГ – блок формирования правил выделения границ; БУКТ – блок удаления концевых точек; БОР – блок определения разрывов; БОРГ – блок определения расстояний до границ при проходе слева и справа от границы; БВРГ – блок вычисления разницы расстояний до границ при проходе слева и справа; БРРУИ – блок расчёта разностей уровней интенсивностей; БОМЗД – блок определения минимального значения диспаритета; БИНС – блок иерархической нечёткой системы. Иерархическая схема вычислительного процесса расчёта диспаритета иерархической нечёткой системой представлена на рисунке 8. На рисунке 9 представлена компьютерная модель построения карты глубин стереоизображения и графики выходных переменных на выходе первого и второго уровня иерархической нечёткой системы, реализованная в среде имитационного моделирования. Рисунок 8 – Иерархическая схема вычислительного процесса расчёта диспаритета а) б) в) Рисунок 9 – Компьютерная модель построения карты глубин стереоизображения: а – первый уровень иерархии; б – второй уровень иерархии; в, г – изменение диспаритета на выходах первого и второго уровней иерархии соответственно Анализ выходных графиков (рисунок 9,в и рисунок 9,г) расчёта диспаритета на выходе первого и второго уровней иерархической нечёткой системы позволил сделать вывод, что на выходе второго уровня иерархии система позволяет изменять выходное значение в более широком диапазоне значений, т.е. изменяет значение выходной переменной диспаритета в диапазонах 120-128 и 40-50, следовательно устройство построения карты глубин стереоизображения, реализованное в среде имитационного моделирования, обладает свойством аддитивности. В четвертой главе выполняется экспериментальное исследование работы устройства построения карты глубин стереоизображения. На рисунке 10 представлена структурная схема устройства для выполнения экспериментальных исследований, а на рисунке 11 его внешний вид. Рисунок 10 – Структурная схема устройства построения карты глубин стереоизображения для выполнения экспериментальных исследований г) Рисунок 11 – Устройство построения карты глубин стереоизображения для выполнения экспериментальных исследований В персональный компьютер загружалась стереопара Cones (рисунок 12,а) из базы стереоизображений Middlebury Stereo Datasets [http://vision.middlebury.edu/stereo/data]. Используя метод построения карты глубин стереоизображения вначале преобразуются цветные изображения в оттенки градаций серого (рис.12б) и выполняется операция размытия (рисунок 12,в), реализуются на основе математической модели предварительной подготовки изображений МППИ (формулы 2–3). а) б) в) Рисунок 12 Предварительная подготовка изображений: а – Исходное цветное изображение; б – Преобразованное в градации серого; в – Размытое Далее определялись градиенты изображений стереопары (рис.13а), после чего выделялись границы модифицированным фильтром Канни без операций удаления концевых точек (рис. 13,б) и с добавлением данных операций (рис. 13,в), реализуется на основе математической модели выделения контуров модифицированным фильтром Канни MВК (формулы 4–10). а) б) в) Рисунок 13 – Выделение контуров: а – выделение градиента; б – выделение границ модифицированным фильтром Канни без операций удаления концевых точек и объединения разрывов; в – выделение границ с операциями удаления концевых точек и объединения разрывов Выделив границы определяется расстояние до них и формируется карта расстояний до контуров изображений (рис.14), затем строится карта глубин (рис.15), реализуется на основе математической модели иерархической нечёткой системы MИНС (формулы 11–22). а) б) Рисунок 14 – Построение карты расстояний до контуров: а –от левой границы; б – от а) б) правой границы в) Рисунок 15 – Построение карты глубин стереоизображения: а – метод SAD; б – на выходе первого уровня иерархии нечёткой модели; в – на выходе второго уровня иерархии нечёткой модели; г – эталонная карта глубин Построив карты глубин вычисляются коэффициенты PSNR и RMSE, оценивающие точность построения карты глубин стереоизображения. Вычисление RMSE выполняется по формуле (23): 1 h1w1 RMSE wh(Iэi,j Ii,j)2 min, (23) i1 j1 где Iэi,j – значения уровней яркости на эталонной карте глубин стереоизображения; Ii,j – значения уровней яркости на получаемом изображении. г) 20 Вычисление PSNR выполняется по формуле (24): PSNR  20log MAX  max, (24) 10 RMSE где MAX – наибольшее значение яркости, равное 255. Анализ точности построения карты глубин стереоизображения был произведен для следующих методов нечёткой импликации (таблица 1), используемых при синтезе нечётких правил (формула 15): mean (среднего), prod (произведения), min (минимального), max (максимального). Таблица 1 – Сравнительный анализ точности построения карты глубин для стереопары Cones различными методами нечёткой импликации Метод Показатель точности Значение Карта глубин Анализ таблицы 1 показал, что лучший результат получен при использовании метода mean. Сравнительный анализ точности построения карты глубин стереоизображения с известными методами представлен в таблице 2. mean RMSE 28,84 PSNR prod RMSE PSNR 21,41 max RMSE 50,27 PSNR 21,29 min RMSE PSNR 21,53 50,67 60,31 16,16 Таблица 2 – Сравнительный анализ точности построения карты глубин для стереопары No I II III IV V Метод Чумаченко А.В. Кулабухов С.А. Georgoulas C., Andreadis I. Бобырь М.В., Архипов А.Е., Милостная Н.А. МИНСПКГ Cones Показатель точности RMSE PSNR RMSE PSNR RMSE PSNR RMSE PSNR RMSE PSNR Значение 51,79 13,85 37,64 17,49 39,7 16,15 31,64 18,13 28,84 21,53 Анализ таблицы 2 показал, что разработанные модель, метод и устройство построения карты глубин стереоизображения позволяют повысить точность формирования карты глубин стереоизображения в 1,5 раза. Анализ таблицы 1 и 2 подтвердил гипотезу, что нечёткая логика применима для построения карты глубин стереоизображения при изначально некачественных изображениях стереопары, кроме этого отмечено повышение точности построения карты глубин стереоизображения, на основе оценки коэффициентов RMSE и PSNR. И таким образом система в целом меньше реагирует на изменение интенсивностей яркостей пикселей исходной стереопары. ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ В диссертационной работе в рамках решения поставленной научно-технической задачи разработки модели, метода и устройства построения карты глубин стереоизображения достигнуты следующие основные результаты: 1. Проведён анализ существующих моделей, методов и устройств для построения карты глубин стереоизображения, в результате которого обоснована необходимость создания двухуровневой иерархической нечёткой системы построения карты глубин стереоизображения. 2. Разработана обобщённая математическая модель иерархической нечёткой системы построения карты глубин стереоизображения, включающая в себя математические модели предварительной подготовки изображений, выделения контуров модифицированным фильтром Канни и иерархической нечёткой системы, обладающая свойством аддитивности, позволяющая минимизировать корень из среднеквадратической ошибки по отношению к известным моделям от 1,1 до 1,7 раза. 3. Создан метод построения карты глубин стереоизображения, использующийся для построения новых зависимостей между входными и выходными переменными двухуровневой иерархической нечёткой системы, позволяющий улучшить пиковое отношение сигнал/шум по отношению к известным моделям от 1,19 до 1,55 раза. 4. Разработаны структурно-функциональная организация и устройство построения карты глубин стереоизображения, реализованные по методу построения карты глубин стереоизображения, отличающиеся меньшей аппаратной сложностью по сравнению с известными устройства от 1,07 до 2,55 раза и позволяющие улучшить точность построения карты глубин стереоизображения методом mean во время нечёткой импликации по отношению к методу prod в 1,8 раза, методу max в 1,7 раза, методу min в 2,09 раза. Рекомендации. Результаты диссертационного исследования могут быть использованы для систем выделения объектов на видеоизображениях, с возможностью определения расстояния смещения объектов в видеокадре. Кроме этого позволяет для мобильных роботов осуществлять выделения объектов на пути их следования и формировать траектории передвижения мобильных роботов. Перспективы дальнейшей разработки темы. Использование мягких дефаззификаторов в структуре нечёткого вывода и распараллеливание вычислительного процесса расчёта диспаритета с целью повышения быстродействия процесса построения карты глубин стереоизображения путём реализации на программируемых логических интегральных схемах.