Метод восстановления динамических изображений на основе оптимальной интерполяции

В первом разделе диссертации приводится оценка современного состояния задачи
сверхразрешающего восстановления (интерполяции) динамических изображений. Производит- ся анализ различных подходов к решению данной задачи и обосновывается необходимость со- здания нового метода повышения пространственного разрешения динамических изображений.
Широко известны подходы к сверхразрешению по серии изображений, основанные на использовании методов интерполяции по неравномерной сетке (Kim S.P.), вейвлет- преобразования (Bose N.K.), проекций на выпуклые множества (Stark H.), адаптивной фильтра- ции (Elad M.), Байесовского оценивания (Segall, C.A.), на основе преобразования Фурье (Tsai R.Y.). Существует большой класс решений, основанных на машинном обучении и нейронных сетях (Саввин С.В.). Среди таких решений существуют как методы, использующие серию изоб- ражений (Kawulok M., Greaves A.), так и единственное изображение (Reza H., Kim, J.).
5
Следует отметить, что известные методы сверхразрешения в контексте проблемы, ре- шаемой в диссертации, обладают рядом недостатков. Во-первых, они, являясь универсальны- ми, никак не учитывают (не используют) специфику объектов интереса, наблюдаемых на дина- мических изображениях, а именно, малый размер (локальность) объектов и их двумерность, т.е. размещение на плоскости (возможно, произвольно ориентированной) в наблюдаемой сцене. Во-вторых, известные методы работают только с дискретными изображениями, никак не учиты- вают искажения в непрерывной пространственной области, возникающие при их регистрации. В-третьих, в процессе сверхразрешающего восстановления количественно не оценивается (и, следовательно, не может использоваться в дальнейшей обработке) точность восстановления изображения: качество восстановленных изображений оценивается исключительно по крите- рию зрительного восприятия.
Следует также отметить, что, несмотря на разнообразие методов повышения простран- ственного разрешения, потенциал применения «классического» подхода к оптимальному ли- нейному восстановлению цифровых сигналов и изображений для задач сверхразрешения представляется далеко не исчерпанным. Такой подход способен продемонстрировать хорошие результаты, однако его раскрытие в рамках рассматриваемой проблемы требует перехода от дискретной модели наблюдения сигналов, к непрерывно-дискретной модели наблюдения. Кро- ме того, нуждаются в специальной проработке вопросы методики расчета и практической реа- лизации цифровых восстанавливающих фильтров, обеспечивающих не только оптимальное (с минимизацией ошибки) восстановление, но и эффект сверхразрешения (на практике – измель- чения шага дискретизации) цифровых изображений.
В данном разделе приводится общая схема работы разработанного метода, состоящая из трех этапов – оптимального восстановления со сверхразрешением в кадре, геометрического согласования и оптимального комплексирования. Наглядно предлагаемая схема представлена на рисунке 1. Стоит отметить, что в программной реализации предлагаемого метода дополни- тельная компонента с полями ошибок хранится в качестве отдельного однокомпонентного изображения, однако она может быть реализована и в виде дополнительного канала обрабаты- ваемого изображения.
Рисунок 1 – Схема предлагаемого метода восстановления динамических изображений
Предлагаемый подход к решению задачи повышения пространственного разрешения динамических изображений основан на следующих новых идеях, которые ранее не применя- лись для разработки методов сверхразрешения:
1 Оптимальная интерполяция – то есть оптимальное по критерию дисперсии ошибки ли- нейное восстановление – каждого отдельного кадра с использованием непрерывно-дискретной модели наблюдения позволяет восстановить «квазинепрерывное» изображение – изображе- ние, с учащенной в некоторое количество раз сеткой дискретизации.
2. Формирование дополнительной компоненты каждого интерполированного кадра – поля ошибок оптимальной интерполяции, его использование при формировании результирующего изображения высокого пространственного разрешения.
Разработанный метод сверхразрешающего восстановления (интерполяции) динамиче- ских изображений является оптимальным по критерию дисперсии ошибки восстановления. Ав-
тор полагает, что за счет реализации данных идей, предлагаемый метод имеет преимущества над аналогами.
Для проведения исследований был составлен тестовый набор видеозаписей, в котором присутствовали как реальные, так и синтетические видеозаписи. Было взято четыре видеозаписи: 1. Снятая при помощи видеорегистратора видеозапись, на которой запечатлен движущий- ся автомобиль. Формат видеозаписи – 640×480. Область интереса занимает 70×14 отсчетов.
Для наблюдения было доступно 10 кадров.
2. Снятая при статически закрепленной камере видеозапись, на которой запечатлен уда-
ляющийся автомобиль. Формат видеозаписи – 300×206. Область интереса занимает 54×9 от- счетов. Для наблюдения было доступно 12 кадров.
3. Снятая при помощи видеорегистратора видеозапись, на которой запечатлен движущий- ся грузовой автомобиль. Формат видеозаписи – 640×480. Область интереса занимает 50×12 от- счетов. Для наблюдения было доступно 15 кадров.
4. Синтетическая видеозапись, изображающая фрагмент таблицы Сивцева на черном фоне. Размеры всего изображения – 1000×1000 отсчетов, размеры объекта – 600×600. Фрагмент смещается и поворачивается на небольшие углы (от 0 ̊ до 30 ̊). Для исследования было синте- зировано 40 кадров. В синтезированные кадры вносились искажения и шум. Импульсной харак- теристикой (ИХ) искажающей системы полагалась функция Гаусса.
5. При проведении исследований из кадров видеозаписей вырезалась область интереса, в пределах которой двигался плоский объект. Все величины и характеристики считались по та- кой области. Примеры кадров данных последовательностей приведены на рисунке 2.
6. Приведенные в работе результаты расчетных исследований полного разработанного метода и его промежуточных этапов проводились на синтетической видеозаписи (рисунок 2d), поскольку для нее имелись как неискаженные кадры, так и возможность варьировать парамет- ры искажений. Для реальных видеозаписей (рисунок 2a-c) получены лишь качественные ре- зультаты работы разработанного в диссертационном исследовании метода, поскольку была возможность только грубо оценить параметры их искажений.
а)
c)
b)
d)
Рисунок 2 – Примеры изображений, на которых проводилось исследование, a) пример кадра из 1-го набора, b) пример кадра из 2-го набора,
c) пример кадра из 3-го набора, d) пример кадра из 4-го набора. Рамкой выделены области интереса кадров.
Во втором разделе диссертации детально рассматривается первый этап работы пред- лагаемого метода – оптимальная интерполяция кадров динамического изображения. Предлага- ется использование непрерывно-дискретной модели наблюдения сигнала, с учетом которой строится метод оптимального восстановления (интерполяции) изображения в кадре со сверх- разрешением. Производится расчетное и экспериментальное исследование данного метода и демонстрируется его преимущество перед аналогами.
В качестве модели наблюдения сигнала используется непрерывно-дискретная линейная модель, предполагающая то, что изображение исходной сцены сначала претерпевает искаже-
ния в непрерывной области (подвергается расфокусировке), после чего дискретизируется и подвергается воздействию аддитивного шума. Описать данную модель наблюдения можно при помощи непрерывной свертки (для простоты записи возьмем одномерные сигналы):

yд(n) h()x(nT)dv(n), (1)

где h(τ) – ИХ искажающей непрерывной ЛИС-системы, x(t) – случайный процесс с единствен-
ным непрерывным аргументом,   t   , v(n) – случайный шум, T – шаг дискретизации.
Для введенной выше модели наблюдения и в естественном предположении, что искажа-
ющая ЛИС-система является устойчивой, стационарными случайными процессами будут яв-
ляться и искаженный непрерывный сигнал y(t) и последовательность ( ). Ошибка восста-
новления
 (t)  x(в) (t)  x(t) ,
также оказывается случайной величиной. В качестве показателя точности восстановления при-
мем ее дисперсию, зависящую от аргумента:

 
(д) iT
Ф (e )
1 
Фx  k . (6)
(2) D (t)M x(в)(t)x(t) . (3)
 2 
Параметры оптимального восстанавливающего цифрового фильтра при конкретном сдви- ге Δ определяются из условия минимизации дисперсии ошибки восстановления:
min. (4)
После дифференцирования данного выражения и перехода в частотную область при по- мощи преобразования Фурье, можно получить следующие выражения для частотной характе- ристики восстанавливающего фильтра и энергетического спектра ошибки восстановления в точке  :
 222  H kФx  kei  T k 
2  
D ()M x(в)(n)x(nT)2M g (k)y (nk)x(nT)
д k  

GeiT k  T   T  , (5)  222
1   2   2  2 2 H kФx  kei( T k)
 2  T k  T   T  Tk T  22 2
д
 H k Фx  kTDv k  T   T 
H k Фx kTDv k  T   T 
Частотная характеристика для восстановления полного непрерывного сигнала будет вы- глядеть следующим образом:
 22  H sФx  s
GeiTL sTT. (7)  222
 H k Фx  kTLDv k  TL   TL 
Через обратное преобразование Фурье можно найти импульсную характеристику восста- навливающей системы. Значение же дисперсии ошибки восстановления в точке можно полу- чить путем интегрирования ее энергетического спектра:
TT  TT 
g(k) G eiT eiTkd,D() Ф(д) eiT d. (8)
2 2  T  T
В ходе диссертационного исследования было проведено сравнительное исследование моделей наблюдения сигналов – наиболее распространенной линейной дискретной модели и предлагаемой к использованию в данной работе линейной непрерывно-дискретной. Исследо- вание проводилось для случая одномерных сигналов.
В ходе данного исследования сравнивалась дисперсии ошибка восстановления сигнала при оптимальном восстановлении сигнала, претерпевшего искажения в соответствии с задан-
ными моделями наблюдения. При таком подходе для дискретной модели наблюдения сигнал претерпевал искажения в дискретной области, а также воздействие дискретного аддитивного шума. Для непрерывно-дискретной модели сигнал искажался сначала в непрерывной области, после дискретизировался и подвергался воздействию шума. В расчетах принималось, что ис- ходный сигнал представляет собой стационарный случайный процесс с нулевым средним и экспоненциальной АКФ.
На рисунке 3 продемонстрированы зависимости дисперсий ошибок восстановления про- цедуры оптимального восстановления для выбранных моделей наблюдения при различных па- раметрах. Зависимости a) и b) получены для оптимальных процедур восстановления при пара- метрахa) =0,5 2,=0,9, b) = 2,=0,8.Зависимостиc)иd)полученыдляслучаяискаже- ний в непрерывной области при параметрах c) = 0,5 2,  = 0,9 d) = 2,  = 0,8. Сплошной линией на этом рисунке продемонстрированы результаты для непрерывно-дискретной линей- ной модели наблюдения, пунктиром – для дискретной.
a) b)
c) d)
Рисунок 3 – Зависимости дисперсии ошибки процедур восстановления от дисперсии шума при
различных параметрах сигналов и искажений
Из полученных зависимостей видно, что результаты для выбранных моделей наблюдения существенно различаются. Использование для восстановления сигнала, претерпевшего искаже- ние в непрерывной области, дискретной модели, которая этот факт не учитывает, дает слишком оптимистичный результат. Это свидетельствует о том, что данные модели наблюдений учитыва- ют различные искажения исходного сигнала, и используемая в данном диссертационном иссле- довании непрерывно-дискретная модель не может быть заменена дискретной.
Во втором разделе диссертации также произведено расчетное исследование по сравне- нию оптимального восстановления для выбранной модели наблюдения с интерполяционным. На рисунке 4 приведены полученные в результате исследования зависимости, а именно: a) им- пульсные характеристики оптимальной и интерполяционной восстанавливающих систем при = 0,2 2, b) изменение дисперсии ошибки восстановления на интервале первичной дис- кретизации при = 0,2 2, c) зависимости средней дисперсии ошибки восстановления от уровня шума наблюдения. d) зависимости средней дисперсии ошибки восстановления от параметра динамических искажений. Пунктиром на изображениях указаны значения для линейной интер- поляции.
Как видно из представленных зависимостей, использование предлагаемого оптимального фильтра для выбранной модели наблюдения позволяет существенно снизить дисперсию ошиб- ки восстановления изображения, как в отдельно взятых отсчетах, так и в среднем по восста- навливаемому изображению.
9

a)
c) d)
Рисунок 4 – Полученные при проведении расчётного исследования зависимости при раз- личных параметрах искажений.
Помимо расчетных исследований, было проведено экспериментальное исследование разработанного метода для этапа восстановления. Оно было проведено на синтетическом наборе изображений. Эффективность восстановления предлагаемым методом так же, как и в расчетном исследовании, сравнивалась с линейным интерполяционным восстановлением. По- лученные зависимости приведены на рисунке 5, они продемонстрированы при различных пара- метрах аддитивного шума и ширины ИХ искажающей системы при a) = 0, = 0,b) = 0, = 0,1 2, c) = 0,1 , = 0, d) = 0,2 , = 0,2 2. Пунктиром на этом рисунке указаны зависи- мости для интерполяционного восстановления.
a)
b)
b)
c)
d)
Рисунок 5 – Зависимости ошибки восстановления от коэффициента увеличения изображений
Как видно из полученных зависимостей, разработанный метод дает меньшую ошибку восстановления при всех рассмотренных параметрах искажений. Что позволяет в среднем сни- зить ошибку восстановления в 1,2 раза.
Третий раздел диссертации посвящен второму этапу разработанного метода – геомет- рическому согласованию. В разделе производится выбор алгоритма геометрического согласо- вания интерполированных кадров производится сравнительное исследование наиболее рас- пространенных алгоритмов геометрического согласования. Выбирается алгоритм, демонстри- рующий наименьшую ошибку геометрического согласования в рамках предлагаемого метода.
Методы геометрического согласования можно классифицировать по:
− виду оцениваемого преобразования между статичным и изменяемым изображением – это мо-
гут быть сдвиг, масштаб, поворот, аффинное, проективное, билинейное преобразования и т.д.
− области оценки преобразования – в пространственной области (Wedel A.) или области пре-
образования (Guizar-Sicairos M.).
− по методу оценки преобразования – на использующие отдельные особые точки (Vasileisky
A.S. , Manjunath B.S., Banerjee S., Hsieh J.W., Wang W.H.), все изображение целиком (Thévenaz
P., Guizar-Sicairos M., Rueckert D.) или комбинацию двух предыдущих подходов (Papademetris X., Wang Y., Hartkens T., Rueckert D., Chui H.).
− по согласуемым данным – на предназначенные для согласования однородных данных (Wedel A., Thévenaz P.,Chui H.) и мультимодальных данных (Maintz J.B.A., van den Elsen P.A.).
− по используемой мере близости между согласуемыми изображениями – на минимизирующие сумму квадратов разностей (Kumar R.), максимизирующих коэффициент корреляции (Zheng Q.), совместную энтропию (Studholme C.), взаимную информацию (Viola P., Studholme C.) и т.д.
Для выбора алгоритма были рассмотрены метод (Zitová B.) с различными дескрипторами – SIFT (Lowe D.G.), SURF (Bay H.), BRIEF (Calonder M.), ORB (Rublee E.), метод (Wedel A.), ме- тод (Guizar-Sicairos M.) метод (Matungka, R.), а также метод (Thévenaz P.) с использованием различных видов оцениваемого преобразований. В общей сложности было рассмотрено 13 ал- горитмов, среди который был выбран метод (Thévenaz P.) с оцениваемым билинейным преоб- разованием. Численные результаты проведенного исследования представлены в третьем раз- деле диссертационной работы.
Для выбора алгоритма геометрического согласования производилось геометрическое со- гласование кадров тестовой последовательности. В роли такой последовательности использо- вался набор синтетически сгенерированных кадров. В качестве меры точности согласования ис- пользовалось усредненное евклидово расстояние между координатами углов многоугольника, ограничивающего область интереса кадра. Математическое выражение для меры следующее:
1 K1N1 2 2
  xs xm ys ym , (9)
KN i,j i,j i,j i,j i0 j0
где  – мера точности геометрического согласования; N – количество согласуемых изображе- ний, K – количество выбранных точек, K =4; xs , ys – координаты по осям x и y выбранной точки
i, j i, j 11

статического изображения; xim, j yim, j – координаты по оси x и y выбранной точки согласованного
изображения.
В таблице 1 представлены результаты проведенного исследования, на рисунке 6 данные
результаты представлены в виде диаграммы.
Таблица 1 – Значения мер точности согласования исследованных методов No Описание метода
1 C использованием особых точек, дескриптор SIFT
2 C использованием особых точек, дескриптор SURF
3 C использованием особых точек, дескриптор BRIEF
4 C использованием особых точек, дескриптор ORB
5 C использованием пирамиды изображений, сдвиг
6 C использованием пирамиды изображений, сдвиг-поворот
7 C использованием пирамиды изображений, сдвиг-масштаб-поворот
8 C использованием пирамиды изображений, аффинное преобразование
9 C использованием пирамиды изображений, билинейное преобразова-
ние
10 С использованием пиков взаимной корреляционной функции
11 С использованием пиков взаимной корреляционной функции, χ2-мера
12 С использованием оптического потока
13 C использованием адаптивного полярного преобразования
Значение меры
0,733 0,790 0,649 0,763 0,515 0,223 0,224 0,224
0,202
0,39 0,39 0,386 0,289
Рисунок 6 – Усредненные значения меры точности; номера методов соответствуют номерам, перечисленным в таблице 1.
Лучшие результаты продемонстрировало применения метода, основанного на использо- вании пирамиды изображений с оценкой билинейного преобразования, он выделен в таблице курсивом и цветом на диаграмме. Он и был выбран для этапа геометрического согласования разработанного метода восстановления изображений.
Четвертый раздел диссертации посвящен комплексированию восстановленных и гео- метрически согласованных кадров. В этом разделе предлагается метод оптимального по крите- рию дисперсии ошибки комплексирования кадров видеопоследовательности с использованием вспомогательного канала изображений – поля ошибок интерполяции отсчетов. Описанный в данном разделе производит взвешенное суммирование отсчетов комплексируемых кадров. Ве- совые коэффициенты рассчитываются при помощи значений дисперсий ошибки восстановле- ния дополнительного канала. Для получения выражения для расчета значения отсчета резуль- тирующего выражения, необходимо обратиться к задаче суммирования неравноточных изме- рений.
Пусть доступными для наблюдения имеются измерения некоторой величины с разной
точностью:
yi xvi, i0,I1, (10) 12

где y – доступная для наблюдений величина с дисперсией D(v) , x – исходная величина, оцен- ii
ку которой необходимо построить, vi – шумовая компонента, i – целочисленный аргумент, I –
количество доступных наблюдений.
Необходимо построить линейную оценку, обеспечивающую наибольшую точность по кри-
терию дисперсии ошибки. Построим несмещенную оценку, считая x константой, так, чтобы дис- персия ошибки была минимальной:
I1 
I1 I1
ay, a12 Mxˆx2 
a2D(v)min, (11) ii
xˆ
гдеxˆ– оценка исходной величины по наблюдаемой,2 – минимизируемая среднеквадратиче-
ская ошибка, ai – весовая функция суммирования.
i кв
i0 i0 i0
кв
Отметим, что формулировка решаемой задачи имеет элемент научной новизны – она от- личается от классической формулировки задачи суммирования неравноточных измерений. В классической формулировке отсутствует условие нормировки весовых коэффициентов сумми- рования.
Продифференцировав выражение для ошибки и решив его путем выражения одной из ве- совых функций суммирования через оставшиеся, можно получить выражение для весовой функции суммирования, а также выражение для оценки результирующего значения:
a  i
 j0 j
1 D(v)
i
I1 1
I1 y I1 1
,i0,I1, xˆ i  ,i0,I1. (12)
ii
D(v)
D(v) D(v) i0 i i0 i
Также в данном разделе работы приведено исследование полного предлагаемого метода восстановления динамических изображений. Исследование проведено на синтетической видео- записи, которая использовалась и для предыдущих экспериментальных исследований.
Для сравнения были получены результаты повышения пространственного разрешения изображения по серии кадров без использования предложенных в диссертационной работе подходов. В этом случае сначала каждый кадр линейно интерполировался, после чего произво- дилось геометрическое согласование выбранным в разделе 2 алгоритмом, далее производи- лось усредняющее комплексирование:
1 I  1
методами. Данные изображения были получены при параметрах искажающей системы = 0,2 , = 0. Изображения были увеличены в L = 5 раз. Погрешность восстановления разрабо-
танного метода составила D Dx  0, 083 , погрешность метода без использования подходов ис- следования- D Dx 0,089.
а) b)
Рисунок 7 – Области интереса восстановленных по серии из 40 кадров изображений a)
при помощи разработанного метода, b) при помощи усредняющего комплексирования интерпо- лированных кадров
На рисунке 8 представлены полученные результаты. На изображениях 7a и 7b представ- лены зависимости погрешности восстановления от количества использованных кадров при различном коэффициенте увеличения – a) для увеличенных в 2 раза кадров, b) для увеличен-
xˆ(avg) 
y,i0,I1. (13) i
I i0
На рисунке 7 представлены примеры восстановленных кадров обоими исследованными
13

ных в 5 раз. На рисунке 7с представлены зависимости нормированной дисперсии ошибки вос- становленного изображения высокого пространственного разрешения от коэффициента увели- чения. Пунктирными линиями на всех изображениях указаны значения для метода без приме- нения предложенных методов диссертационного исследования.
Помимо исследования полного разработанного метода комплексирования изображений, были получены результаты для метода комплексирования отдельно, они представлены на ри- сунке 7d. Для сравнения было взято усредняющее комплексирование.
a) b)
c) d)
Рисунок 8 – Зависимости нормированной дисперсии ошибки восстановленного
изображения высокого пространственного разрешения от различных параметров
Как видно из зависимостей 7d, использование предложенного метода комплексирования вне предлагаемого метода восстановления динамических изображений способствует снижению ошибки восстановления результирующего изображения. Зависимости 7a, 7b, 7c показывают, что предложенный метод восстановления динамических изображений демонстрирует заметно меньшую ошибку восстановления при любых параметрах вносимых искажений. Использование предложенного метода восстановления изображений позволяет снизить ошибку восстановле- ния в среднем в 1,45 раз.
Для реальных видеозаписей были получены результаты, представленные на рисунке 9. При помощи разработанного метода восстановления удалось повысить детализацию кадров видеопоследовательностей. Ранее нечитаемые регистрационные номера автомобилей стали визуально различимы.
а) b)
d)
c)
e)
f)
Рисунок 9 – Результаты применения разработанного метода на реальных видеозаписях. Изображения a), c), e) – первые кадры исследованных видеопоследовательностей, b), d), f) –
восстановленные разработанным методом изображения.
ЗАКЛЮЧЕНИЕ
В диссертационной работе разработан и исследован новый метод восстановления дина- мических изображений на основе оптимальной интерполяции для случая локальных плоских объектов интереса. В работе показана возможность учета искажений изображений в непрерыв- ной области с последующим восстановлением изображений с учащенной сеткой дискретиза- ции, а также оценкой погрешности такого восстановления в каждой точке. Также в работе пока- зана возможность использования полученных погрешностей восстановления каждого кадра для формирования результирующего изображения.
Основные результаты диссертационной работы:
1. Разработан метод восстановления изображений по серии кадров, основанного на опти-
мальной интерполяции отдельных кадров динамического изображения и использовании значе- ний дисперсии ошибки восстановления в точке на этапе комплексирования. Использование предлагаемого метода восстановления динамических изображений в проведенных эксперимен- тах позволило снизить ошибку восстановления по серии кадров в среднем в 1,45 раз.
2. Разработан метод оптимальной по критерию дисперсии ошибки интерполяции в кадре с использованием непрерывно-дискретной модели наблюдения и с сохранением погрешностей восстановления в виде дополнительной компоненты изображения.
3. Произведено исследование методов геометрического согласования кадров видеозаписей, а также осуществлен выбор метода геометрического согласования для разработанного метода восстановления динамических изображений.
4. Разработан метод комплексирования кадров видеопоследовательностей с использовани- ем ошибок восстановления в кадре. Преимущество разработанного метода возрастает с ростом количества использованных кадров.
5. Произведены экспериментальные исследования, подтверждающие работоспособность и эффективность разработанных методов.
6. Разработано программное обеспечение, реализующее предложенный метод восстановле- ния динамических изображений.