Алгоритмы обработки изображений с достижением эффекта сверхразрешения на основе методов оптимальной фильтрации и машинного обучения

Актуальность темы работы. Качество управления в современных
системах в значительной степени обусловлено скоростью и достоверностью
анализа данных, поступающих в контуре наблюдения внешних и внутренних
параметров объектов управления. В связи с этим создание и развитие
автоматизированных систем во многом опирается на внедрение новых, более
совершенных алгоритмов обработки измерительной информации, в том числе и
информации, представленной в виде изображений или видеоданных. Практически
все средства наблюдения, обработки и анализа цифровых изображений требуют
обеспечения детализации поступающих данных, отображающих анализируемые
сцены, для получения адекватных результатов. Однако входные данные не всегда
соответствуют необходимым требованиям, что проявляется, в том числе, в низком
разрешении изображений, обусловленном, в основном, ограниченными
возможностями средств регистрации. Регистрация более качественных
изображений напрямую часто не представляется возможной в виду технических
или экономических ограничений, в результате чего возникает необходимость
дополнительной алгоритмической обработки изображений с целью повышения их
качества. В этом плане значительный интерес представляют алгоритмы
построения сверхразрешения (СР), осуществляющие обработку одного или
нескольких цифровых изображений с целью получения результирующих
изображений, обладающих более высоким разрешением и детализацией по
сравнению с исходными.
В ходе обработки изображений, наряду с аддитивным шумом, зачастую
возникает специфический вид помех, называемых аппликативными (АП) и
проявляющимися в возникновении на изображениях областей аномальных
наблюдений (локальных областей закрытия, ЛОЗ), которые носят случайных
характер. Такие искажения также могут рассматриваться как фактор
неоднородного снижения разрешения на поступающем изображении. В отличие
от помех аддитивного характера, АП не могут быть устранены путём линейной
фильтрации и существенно влияют на качество обработки изображений, в том
числе и в задачах построения СР.
В настоящее время разработано множество различных подходов и
алгоритмов СР, однако лишь небольшая часть данных исследований [52–58]
посвящена решению данной задачи в условиях наличия АП на входных
изображениях. В этом плане можно утверждать, что на сегодняшний день данная
задача не получила окончательного удовлетворительного решения. При этом
следует выделить два базовых и принципиально альтернативных в методическом
плане подхода к решению задачи построения алгоритмов СР.
Первый подход основан на применении постулируемых математических
моделей данных и проведении статистического синтеза оптимальных или
квазиоптимальных алгоритмов обработки изображений. При этом вводится ряд
допущений и приближений относительно используемых математических моделей.
В частности, это касается использования гауссовской модели данных, широко
используемой в известных работах, посвященных синтезу и анализу алгоритмов
СР на основе методов оптимальной марковской фильтрации [39-42, 55-58],
зачастую используемых при реализации контуров наблюдения автоматических
систем управления. Однако такая модель во многих случаях не является в полной
степени адекватной, особенно в задачах обработки изображений, что ставит
вопрос о допустимости ее применения в целом при решении рассматриваемых
задачах. Также в недостаточной степени рассмотрен вопросы синтеза алгоритмов
СР при наличии АП в условиях статистической неопределенности относительно
параметров используемых математических моделей наблюдений (межкадровых
сдвигов, дисперсии размытия системы формирования изображений и т.п.).
Для решения данного класса задач, как, впрочем, и других актуальных задач
обработки изображений, в последние годы всё большее внимание привлекает
другой подход, основанный на применении методов глубокого машинного
обучения и, в частности, свёрточных нейронных сетей, а также их различных
модификаций. Данный подход свободен от задания в явном виде математических
моделей данных, но требует использования значительных по объему обучающих
выборок, содержащих примеры анализируемых изображений. В этом плане
известны работы [22-25, 43-46, 48-50], в которых глубокие нейронные сети
успешно применяются для решения задачи СР в традиционной постановке, но,
при этом, без учета факторов воздействия АП.
Очевидно, также, что в настоящее время назрела необходимость
сопоставления результатов, получаемых при реализации указанных подходов к
построению алгоритмов СР в условиях АП, в интересах формирования
объективной оценки их возможностей, преимуществ и недостатков.
В связи с изложенным, в качестве перспективного направления
исследований представляется направление, связанное с совершенствованием
алгоритмов построения СР изображений в условиях АП, опирающихся на
применение методов оптимальной динамической фильтрации при статистической
неопределенности относительно параметров используемых математических
моделей и методов машинного обучения, включая глубокие нейронные сети.
Данные алгоритмы могут использоваться для повышения качества обработки
информации в системах управления, наблюдения, анализа изображений и
видеоданных.
Степень разработанности темы диссертации. Задача обработки
последовательности изображений с целью повышения их разрешения
рассматривалась в работах И.М. Журавеля, М.И. Савельева, А.В. Ращупкина,
Б.А. Михайлова, Н.Н. Ушаковой, H.S Hou, X. Li, R. Timofte, V. De Smet,
S. Schulter, J.-B. Huang, G. Freedman, J. Yang, N.K. Bose, G.K. Chantas, J. Tian,
M. Irani, S. Peleg, H. Ji, C. Fermüller, C. Newland, A.J. Patti, M.I. Sezan, A.M. Tekalp,
D. Gray, D. Gibbins, Z. Wei, F. Tao, W. Jun и др. [1-51]. При этом одним из
наиболее распространённых подходов к организации обработки является
итеративное уточнение текущий оценки выходного изображения высокого
разрешения при обработке очередного изображения низкого разрешения из
входной последовательности [36-42].
Большинство работ по данной теме не рассматривают вопрос построения
СР в условиях наличия ложных наблюдений, вызванных воздействием АП, на
входных изображениях. Наличие таких областей на обрабатываемых
изображениях можно рассматривать как дополнительный фактор понижения
разрешения и устранять их воздействие одновременно с построением СР. В этом
плане представляют интерес исследования, проведённые W. Fukuda, A. Kanemura,
S. Maeda, S. Ishii, C.S. Negi, K. Mandal, R.R. Sahay, M.S. Kankanhalli,
А.Ю. Иванковым и А.А. Сиротой [52-58], целью которых являлось устранение
негативного воздействия АП с одновременным повышением разрешения входных
изображений. В данных работах рассматривались такие подходы к решению
данной задачи как модель спиновых стёкол, модель случайных марковских полей
и оптимальная линейная и нелинейная динамическая фильтрация калмановского
типа. При этом наиболее перспективным подходом с точки зрения дальнейших
исследований в данной области представляется использование методов
оптимальной и квазиоптимальной динамической фильтрации, как имеющих
наиболее адекватную модель обрабатываемых изображений и потенциал для
улучшения (например, использование адаптивного подхода к фильтрации).
Развитие данного подхода, на наш взгляд, связано, прежде всего, с учётом
статистической неопределённости относительно параметров используемых при
синтезе алгоритмов динамической фильтрации математических моделей.
В последние годы всё большую актуальность приобретает использование
нейросетевых технологий для решения задачи построения СР. Данный подход
находит своё отражение в работах C. Dong, C.C. Loy, K. He, X. Tang, J. Kim,
J.K. Lee, K.M. Lee, C. Ledig, L. Theis, F. Huszár, M. Sajjadi, R. Vemulapalli,
M. Brown, M. Kawulok, P. Benecki, S. Piechaczek, A.B. Molini, D. Valsesia,
G. Fracastoro и др. [22-25, 43-46, 48-50]. Высокая точность и быстродействие
синтезированных в ходе этих исследований алгоритмов, а также их независимость
от сложных математических моделей входных данных обуславливает
перспективность использования нейронных сетей и для решения задачи
построения СР в условиях наличия АП на изображениях входной
последовательности. При этом наибольший интерес в данной области
представляют свёрточные нейронные сети, хорошо зарекомендовавшие себя при
решении задачи построения СР, как, впрочем, и других задач, связанных с
обработкой цифровых изображений [75, 83-86, 89-91].
Таким образом, тема работы, посвящённая исследованию и синтезу моделей
и алгоритмов обработки изображений с достижением эффекта сверхразрешения
на основе методов оптимальной фильтрации и машинного обучения, является
актуальной. Тема работы связана с научными направлениями ФГБОУ ВО «ВГУ»
«Математическое моделирование, программное и информационное обеспечение,
методы вычислительной и прикладной математики и их применение к
фундаментальным исследованиям в естественных науках», «Проблемы передачи,
получения, обработки и хранения информации».
Цель и задачи исследования. Целью работы является совершенствование
алгоритмов обработки информации в задачах построения сверхразрешения для
последовательностей изображений и видеоданных в условиях аппликативных
помех на основе методов оптимальной фильтрации и машинного обучения с
использованием глубоких нейронных сетей.
Для достижения цели в работе рассматриваются и решаются следующие
задачи.
1. Анализ существующих подходов к построению СР в традиционной
постановке задачи и при наличии аномальных наблюдений (АП) на входных
изображениях.
2. Синтез и анализ алгоритмов многокадрового СР в условиях АП на основе
методов оптимальной условно-линейной и нелинейной (адаптивной)
динамической фильтрации и алгоритмов сегментации областей, подверженных
воздействию АП на входных изображениях.
3. Построение алгоритмов многокадрового СР в условиях АП на основе
комплекса глубоких нейронных сетей, реализующих различные этапы обработки
последовательности входных изображении, включая, в том числе, и отдельный
этап сегментации локальных областей закрытия на изображениях, вызванных
воздействием АП.
4. Проведение сопоставительного анализа качества обработки изображения
в задачах построения СР с использованием алгоритмов, синтезированных в
рамках методов оптимальной фильтрации и методов глубокого обучения.
5. Синтез и анализ алгоритмов СР видеоданных в условиях АП на основе
использования глубоких свёрточных нейронных сетей.
Объект исследования. Объектом исследования являются системы
обработки информации и реализуемые в них процессы обработки цифровых
изображений.
Предмет исследования. Модели и алгоритмы обработки цифровых
изображений, подверженных воздействию АП, в задачах повышения разрешения
и детализации входных изображений.
Методы исследования. При решении поставленных в диссертации задач
использовались методы математического анализа, теории вероятностей и
математической статистики, теории случайных полей, линейной алгебры, теории
графов, теории обратных задач, методы оптимизации, методы оптимальной
марковской фильтрации, методы цифровой обработки изображений, методы
машинного обучения, а также технологии статистического имитационного
моделирования.
Научная новизна. В работе получены следующие результаты, обладающие
научной новизной.
1. Проведена декомпозиция итеративного процесса обработки информации
при анализе последовательности изображений, определяющая общую структуру
комплексного алгоритма построения многокадрового СР в условиях АП.
Поставлена и решена задача синтеза комплексного алгоритма построения СР на
основе последовательности искажённых воздействием АП изображений низкого
разрешения, отличающегося использованием принципа адаптивной нелинейной
фильтрации для учёта статической неопределённости параметров модели
наблюдений, а также процедуры независимой суперпиксельной сегментации
локальных областей закрытия на входных изображениях для минимизации
воздействия АП.
2. Предложен и исследован двухэтапный алгоритм сегментации
изображений на области полезных и ложных наблюдений, основанный на
проведении суперпиксельной сегментации каждого изображения низкого
разрешения и выполнении кластерного анализа полученных суперпикселей с
помощью EM-алгоритма.
Получены математические соотношения для вероятностей принадлежности
суперпикселей выделяемым областям, обеспечивающие включение результатов
сегментации в вычисление весовых коэффициентов оптимального условно-
линейного фильтра, используемого в комплексном алгоритме построения СР.
3. В рамках проведенной декомпозиции процесса обработки информации
при построении многокадрового СР в условиях АП обоснована структура
алгоритмов построения СР, отличающихся использованием ансамбля глубоких
нейронных сетей свёрточного типа и сетей в виде направленного ациклического
графа (DAG-сетей), выполняющих преобразования информации на всех этапах,
предусмотренных общей схемой построения итеративных алгоритмов СР.
Проведено экспериментальное сравнение синтезированных алгоритмов с
алгоритмом, базирующимся на применении методов оптимальной фильтрации.
Установлено преимущество алгоритмов, реализованных в виде ансамбля
предложенных глубоких нейронных сетей по качеству получаемых изображений
высокого разрешения и по времени обработки.
4. Предложены и исследованы алгоритмы построения СР видеоданных как
последовательности видеокадров, искажённых воздействием АП. Первый
алгоритм основан на адаптации рассмотренного ранее итеративного алгоритма
построения многокадрового СР изображений на основе глубоких нейронных
сетей с использованием для получения очередного изображения высокого
разрешения совокупности кадров, выделяемых в скользящем временном окне.
Для повышения быстродействия во втором алгоритме использована
многовходовая DAG-сеть специальной архитектуры, обеспечивающая обработку
одновременно всех кадров, выделяемых в скользящем окне. Предложен
относительно простой и эффективный алгоритм сегментации локальных областей
закрытия на кадрах видеопоследовательности, основанный на использовании
априорного неискаженного изображения сцены и выполнении набора
морфологических преобразований.
Тематика работы соответствует областям исследования специальности 2.3.1
Системный анализ, управление и обработка информации.
Теоретическая и практическая значимость. Основные теоретические и
экспериментальные результаты работы отвечают потребностям важного
направления развития систем обработки цифровых изображений – получения
изображений, обладающих более высоким разрешением и детализацией, в
условиях наличия на входных изображениях случайных аномальных наблюдений
и ограниченных технических возможностей средств регистрации и передачи
данных.
Представленные теоретические и экспериментальные результаты,
позволяют проводить сопоставительный анализ альтернативных в методическом
плане подходов к построению алгоритмов обработки информации
рассматриваемого класса и выбор конкретного алгоритма с учетом возникающих
на практике ограничений. Впервые дана объективная оценка преимуществ и
недостатков подходов, базирующихся на применении методов оптимальной
динамической фильтрации и машинного обучения с использованием глубоких
нейронных сетей.
Синтезированные модели и комплексные алгоритмы повышения
разрешения и качества изображений на основе методов оптимальной фильтрации
и машинного обучения позволяют справиться с негативным воздействием АП на
изображениях и обладают достаточной универсальностью в плане входных и
выходных разрешений, а также размеров обрабатываемой последовательности
изображений, что делает возможным их применение в широком спектре задач
компьютерного зрения.
Результаты, полученные в ходе выполнения диссертационной работы,
имеют практическое значение для разработки программного обеспечения в
интересах автоматической обработки цифровых изображений в различных
информационных системах (например, системах видеонаблюдения,
аэрофотосъёмки и т.д.).
Положения и результаты, выносимые на защиту.
1. Модели и комплексные алгоритмы многокадрового сверхразрешения в
условиях наличия аппликативных помех на изображениях, основанные на
использовании методов оптимальной динамической фильтрации и позволяющие
учесть неопределенности относительно параметров используемой
математической модели данных и результатов независимой суперпиксельной
сегментации локальных областей закрытия на поступающих изображениях.
2. При выполнении сегментации локальных областей на изображениях,
подверженных воздействию аппликативных помех, на основе предложенного
подхода целесообразно выполнение двух этапов обработки суперпиксельной
сегментации и кластерного анализа суперпикселей при помощи EM-алгоритма,
что обеспечивает адекватное включение вероятностей принадлежности
суперпикселей областям полезных или ложных наблюдений на каждом кадре
последовательности в весовую матрицу алгоритма динамической фильтрации.
3. Итеративные алгоритмы многокадрового сверхразрешения в условиях
наличия аппликативных помех, основанные на использовании ансамбля
свёрточных нейронных сетей и предложенных в работе сетей в виде
направленного ациклического графа, выполняющих различные этапы общей
схемы обработки изображений, включая оценку смещений между изображениями,
сегментацию локальных областей закрытия и улучшение качества изображений.
4. Результаты сопоставительного анализа альтернативных подходов к
построению алгоритмов сверхразрешения в условиях аппликативных помех,
свидетельствующие о наличии преимущества алгоритмов, реализованных в виде
ансамбля предложенных глубоких нейронных сетей, по качеству получаемых
изображений высокого разрешения и по времени обработки по отношению к
алгоритмам, базирующимся на применении методов оптимальной фильтрации.
5. При построении обучаемых алгоритмов сверхразрешения видеоданных в
составе используемого ансамбля глубоких свёрточных нейронных сетей для
получения оценки текущего кадра целесообразно с точки зрения повышения
быстродействия использовать многовходовые сети в виде направленного
ациклического графа, адаптированные для обработки совокупности
предшествующих и последующих кадров видеопоследовательности, выделяемых
в скользящем временном окне.
Реализация результатов работы. Полученные в диссертации результаты в
части разработки алгоритмов обработки цифровых изображений использованы
при выполнении НИР «Туманность-ВГУ», «Туба-ВГУ» а также в учебном
процессе ФГБОУ ВО «Воронежский государственный университет».
Степень достоверности результатов работы. Результаты исследований,
сформулированные в диссертационной работе и основанные на теоретических и
экспериментальных методах исследований, взаимно дополняют друг друга и
согласуются между собой. Корректность синтезированных моделей и
комплексных алгоритмов повышения качества и разрешения входных
изображений подтверждается результатами проведённых экспериментов на
реальных изображениях.
Полученные в работе выводы и результаты имеют понятную трактовку,
ясное физическое истолкование и совпадают в ряде частных случаев с
известными результатами, полученными другими авторами.
Таким образом, полученные результаты и выводы, изложенные в
диссертации, являются в достаточной мере обоснованными и достоверными.
Апробация работы. Приведённые в диссертации выводы и рекомендации
были сформулированы в ходе всестороннего обсуждения результатов
исследований. Основные положения работы докладывались и обсуждались: на
XIX и XX Международных конференциях «Информатика: проблемы,
методология, технологии» (г. Воронеж) в 2019 и 2020 гг.; на Международной
научно-технической конференции «Актуальные проблемы прикладной
математики, информатики и механики» (г. Воронеж) в 2019 г.; на Международной
конференции «International Conference on Digital Image & Signal Processing»
(Oxford, United Kingdom) в 2019 г.; на 2-ой Международной конференции «2nd
International Conference on Control Systems, Mathematical Modeling, Automation and
Energy Efficiency» (г. Липецк) в 2020 г.; на ежегодных научных сессиях и
семинарах факультета компьютерных наук ВГУ.
Публикации. По теме диссертационной работы опубликовано 11 [59-
67, 78, 79] работ, из них 6 – в изданиях, рекомендованных ВАК, в том числе 4
статьи в журналах, индексируемых в БД Scopus и Web of Science.
Основные результаты по теме работы получены лично автором и
опубликованы в соавторстве с научным руководителем. В совместных работах
последнему принадлежит постановка задачи, определение направлений и общая
идеология проведения исследований. Соискателю принадлежит проведение
рассуждений, обоснование утверждений и используемых математических
моделей, разработка и исследование алгоритмов обработки и изображений,
организация и проведение экспериментов по их исследованию, анализ и
интерпретация полученных результатов. В работах [59, 60, 62, 65], выполненных
совместно с другими соавторами, соискателем выполнены разработка,
программная реализация и исследование алгоритмов построения многокадрового
СР в условиях аппликативных помех.
Структура и объём работы. Диссертационная работа состоит из введения,
четырёх глав, заключения и списка литературы из 100 наименований. Объём
работы составляет 151 страницу текста, включая 51 рисунок и 16 таблиц.
В первой главе диссертации производится анализ известных методов и
алгоритмов обработки цифровых изображений с целью повышения их
разрешения и качества, включая случай, когда на входных изображениях
присутствуют аномальные наблюдения, вызванные АП. Рассматриваются
особенности фильтрации АП на входных изображениях в ходе восстановления
изображения высокого разрешения. Предлагается общая схема организации
исследования в интересах синтеза алгоритмов многокадрового СР в условиях АП.
Во второй главе предлагается и реализуется общая схема итеративной
обработки последовательности изображений с целью построения СР,
включающая в себя этап независимой сегментации областей ложных наблюдений
на обрабатываемых изображениях. Описываются и исследуются алгоритмы
многокадрового СР на основе оптимальной динамической фильтрации, в том
числе в условиях неопределённости относительно параметров математической
модели. Рассматривается алгоритм двухэтапной сегментации областей
аномальных наблюдений на входных изображениях на основе суперпиксельного
представления изображений.
В третьей главе описываются и исследуются комплексные алгоритмы
многокадрового СР на основе технологий машинного обучения (глубоких
свёрточных сетей) на различных этапах обработки, включая повышение качества
изображений, реализующие ранее описанный итеративный подход к получению
итогового изображения. Рассматриваются два подхода к синтезу таких
алгоритмов: как с включением этапа независимой сегментации входных
изображений на полезные и ложные наблюдения, так и без его использования.
В четвёртой главе описываются и исследуются алгоритмы СР видеоданных
на основе использования глубоких нейронных сетей для повышения качества
изображений. Рассматриваются два подхода к синтезу таких алгоритмов: на
основе прямой адаптации ранее рассмотренного алгоритма многокадрового СР и
на основе его модификации, учитывающей специфику обработки
видеопоследовательностей в скользящем окне наблюдения.
Автор выражает глубокую признательность научному руководителю проф.
А.А. Сироте за постоянное внимание и руководство, а также коллективу кафедры
технологий обработки и защиты информации Воронежского государственного
университета за оказанную поддержку.

В ходе выполнения диссертационной работы были получены следующие
результаты:
– проведён анализ существующих подходов к обработке
последовательностей изображений с целью повышения разрешения (построения
СР) как в традиционной постановке задачи, так и в условиях воздействия на них
АП, проявляющихся в областях аномальных наблюдений;
– проведена декомпозиция итеративного процесса обработки информации
при анализе последовательности изображений и обоснована общая структура
комплексного алгоритма построения многокадрового СР в условиях АП;
– синтезированы и исследованы модели и комплексные алгоритмы
многокадрового СР в условиях наличия АП на основе методов оптимальной
условно-линейной и нелинейной (адаптивной) фильтрации и использования
алгоритмов двухэтапной сегментации областей, подверженных воздействию АП;
– синтезированы и исследованы комплексные алгоритмы многокадрового
СР в условиях наличия АП на основе использования свёрточных нейронных сетей,
реализующих различные этапы обработки входных изображений;
– проведён сопоставительный анализ результатов построения
многокадрового СР при помощи синтезированных алгоритмов на основе методов
оптимальной фильтрации и машинного обучения;
– синтезированы и исследованы алгоритмы СР видеоданных в условиях
наличия АП на основе метода скользящего окна и использования глубоких
свёрточных нейронных сетей для повышения качества входных кадров.
В диссертационной работе получены следующие результаты и выводы,
отличающиеся научной новизной.
1. По итогам системного анализа известных подходов к построению СР
обоснована и описана общая схема проведения исследований в интересах
построения и исследования алгоритмов многокадрового СР и СР видеоданных в
условиях наличия АП на входных последовательностях изображениях.
2. Введена общая схема итеративной обработки последовательности
изображений для комплексных алгоритмов построения многокадрового
построения СР в условиях АП, включающая в себя этапы формирования
начальной оценки выходного изображений ВР, оценки межкадровых сдвигов,
сегментации локальных областей закрытия на входных изображения и уточнения
текущей оценки ВР на основе обработки очередного входного кадра НР.
3. В рамках общей схемы итеративной обработки последовательности
изображений при построении многокадрового СР в условиях АП предложены и
исследованы модели и комплексные алгоритмы обработки информации,
основанные на использовании методов оптимальной динамической фильтрации
при неопределенности относительно параметров используемой математической
модели и результатов независимой сегментации локальных областей закрытия на
входных изображениях. Проведен синтез алгоритма при наличии
параметрической неопределенности в условиях неизвестных межкадровых
сдвигов изображений. Проведено экспериментальное сравнение результатов его
работы с существующими альтернативными алгоритмами, основанными на
моделях спиновых стёкол и случайных марковских полей. Анализ полученных
результатов показывает, что предложенный алгоритм демонстрирует наибольшую
точность восстановления изображения ВР по сравнению с альтернативными
алгоритмами, обладая быстродействием одного с ними порядка.
4. Обоснован и исследован двухэтапный алгоритм сегментации локальных
областей закрытия на входных изображениях, основанный на использовании
алгоритмов суперпиксельной сегментации и кластерного анализа (EM-алгоритма).
Приведены соотношения для включения результатов сегментации в процесс
условно-линейной оптимальной фильтрации последовательности изображений с
целью повышения их разрешения в условиях наличия АП. В плане развития
методов суперпиксельной сегментации предложен и исследован
модифицированный алгоритм SLIC, реализующий, в отличие от известного,
возможности сегментации областей с одинаковым средним уровнем яркости и
различной текстурой.
5. В рамках общей схемы итеративной обработки последовательности
изображений при построении многокадрового СР в условиях АП предложены и
исследованы комплексные алгоритмы, основанные на использовании глубоких
свёрточных сетей на различных этапах выполняемых преобразований и сети в
виде направленного ациклического графа, обеспечивающей уточнение оценки
изображения ВР на очередной итерации обработки. Рассмотрены два подхода к
синтезу таких алгоритмов: без выделения этапа сегментации локальных областей
закрытия и с реализацией этапа независимой сегментации каждого входного
изображений НР. Проведено экспериментальное исследование предложенных
алгоритмов, включавшее в себя как использование предварительно обученных
существующих нейронных сетей, так и обучение предложенных сетей. Анализ
результатов проведенного эксперимента показал, что алгоритм, использующий
глубокие свёрточные сети и сегментацию локальных областей закрытия на
входных изображениях, демонстрирует наилучшие результаты, как в плане
достигаемой точности, так и в плане быстродействия.
6. Предложены и исследованы алгоритмы СР видеоданных в условиях АП на

основе использования глубоких нейронных сетей для повышения качества
исходных изображений и адаптированные в интересах обработки кадров
видеопоследовательности в скользящем временном окне анализа. Рассмотрены
два подхода к решению данной задачи. Первый подход основан на основан на
адаптации ранее рассмотренного алгоритма построения многокадрового СР,
использующего глубокие нейронные сети на всех этапах обработки и, в
частности, синтезированную двухвходовую DAG-сеть для реализации
итеративного алгоритма повышения качества изображений. Второй подход
основан на применении новой, специально модифицированной с учётом
особенностей обработки видеоданных DAG-сети, позволяющий принимать на
вход все кадры в пределах скользящего окна.
Проведено экспериментальное сравнение синтезированных алгоритмов,
результаты которого показывают, что первый алгоритм имеет большую точность
результатов, но уступает второму в скорости обработки
видеопоследовательности. Выполнено экспериментальное исследование
предложенных алгоритмов на реальных видеоданных, включающих области
закрытия полезной информации, которое показало, что оба предложенных
алгоритма достаточно эффективно справляются с задачей повышения разрешения
и восстановления искаженных участков изображения.
Рекомендации по использованию. Предложенные в диссертационной
работе модели и алгоритмы построения многокадрового СР могут использоваться
в различных информационных системах, ориентированных на автоматическую и
автоматизированную обработку цифровых изображений (системы
видеонаблюдения, системы аэрокосмического мониторинга, мобильные
устройства). Их применение наиболее целесообразно и эффективно для обработки
последовательностей изображений и видеоданных как в случае, отсутствия
локальных участков входных изображений, искажённых аппликативными
помехами, так и в случае, если исходные изображения могут быть подвержены
воздействию подобных помех.

Перспективы дальнейшего развития связаны с дальнейшим
совершенствованием комплексных алгоритмов на основе глубоких нейронных
сетей и сегментации локальных областей закрытия на входных изображениях.
Здесь, на наш взгляд, представляет интерес замена отдельных элементов процесса
обработки изображений на более точных аналоги, лучше учитывающие
специфику воздействия аппликативных помех, организация совместного
обучения применяемых на различных этапах обработки нейронных сетей по
одним и тем же данным. Кроме того, представляется важным более детальное
рассмотрение вопросов обработки видеоданных с учетом специфики регистрации,
например, синтез алгоритмов сегментации аппликативных помех, учитывающих
особенности их проявления на видеопоследовательностях, которые исключают
случайный и независимый характер воздействия на соседние кадры.

1. Park, S.C. Super-resolution image reconstruction: a technical overview / S.C. Park,
M.K. Park, M.G. Kang // IEEE Signal Processing Magazine. – 2003. – Vol. 20(3). –
P. 21-36. – DOI: 10.1109/MSP.2003.1203207.
2. Nasrollahi, K.Super-resolution:acomprehensivesurvey/K. Nasrollahi,
T.B. Moeslund // Machine Vision and Applications. – 2014. – Vol. 25. – P. 1423-
1468. – DOI: 10.1007/s00138-014-0623-4.
3. Yang, C.Y. Single-image super-resolution: A benchmark / C.Y. Yang, C. Ma,
M.H. Yang // European Conference on Computer Vision. – Zurich, Switzerland,
September 6-12, 2014. – P. 372-386. – DOI: 10.1007/978-3-319-10593-2_25.
4. Huang, D. A Short Survey of Image Super Resolution Algorithms / D. Huang,
H. Liu // Computer Science Technology Updates. – 2015. – Vol. 2(2). – P. 19-29. –
DOI: 10.15379/2410-2938.2015.02.02.03.
5. Advanced Topics on Computer Vision / O.V. Villegas, M. Nandayapa, I. Soto
(editors). – Springer, 2018. – 432 p.
6. Журавель, И.М. Краткий курс теории обработки изображений [Текст] /
И.М. Журавель. – М., 1999.
7. Савельев, М.И. Эффективный алгоритм восстановления изображения со
сверхвысоким разрешением / M.И. Савельев // Вестник СГТУ. – 2007. – Т. 1,
№4. – С. 110-115.
8. Ращупкин, А.В. Методы обработки данных дистанционного зондирования для
повышения качества выходных изображений [Текст] / А.В. Ращупкин //
Вестник Самарского государственного аэрокосмического университета. – 2010.
– №2. – С. 124-133.
9. Михайлов, Б.А. Сверхразрешение в обработке полихромных изображений
[Текст] / Б.А. Михайлов // T-Comm – Телекоммуникации и Транспорт. – 2013.
– №4. – С. 47-49.
10.Ушакова, Н.Н. Формирование космического изображения сверхвысокого
разрешения с моделированием группировки из изображений реального
аппарата / Н.Н. Ушакова // Прикладная математика и Физика. – Т. 50, №. 2. –
2018. – С. 229-238.
11.Shultz, R.R. A Bayesian approach to image expansion for improved definition /
R.R. Schultz, R.L. Stevenson // IEEE Transactions on Image Processing. – 1994. –
Vol. 3(3). – P. 233-242. – DOI:10.1109/83.287017.
12.Hou, H.S. Cubic splines for image interpolation and digital filtering / H.S. Hou,
H.C. Andrews // IEEE Transactions on Acoustics, Speech and Signal Processing. –
1978. – Vol. 26(6). – P. 508-517. – DOI: 10.1109/TASSP.1978.1163154.
13.Li, X. New edge-directed interpolation / X. Li, M.T. Orchard // IEEE Transactions
on Image Processing. – 2001. – Vol. 10(10). – P. 1521-1527. – DOI:
10.1109/83.951537.
14.Lin, H. Research on the Algorithms of Super resolution Image Reconstruction with
Wavelet and Interpolation / H. Lin // Xidian University (Chinese). – 2005. – P. 7-14.
15.Wang, Z.S. Research on Super-resolution Image Processing Algorithm Based on
Interpolation and Worked Examples / Z.S. Wang // Zhejiang Normal University
(Chinese). – 2014. – P. 10-22.
16.Cha, Y. Edge forming methods for color image zooming / Y. Cha, S. Kim // IEEE
Transactions on Image Processing. – 2006. – Vol. 15(8). – P. 2315-2323. – DOI:
10.1109/TIP.2006.875182.
17.Timofte, R. A+: Adjusted anchored neighborhood regression for fast super-
resolution / R. Timofte, V. De Smet, L. Van Gool // 12th Asian Conference on
Computer Vision. – Singapore, Singapore, November 1-5, 2014 – DOI:
10.1007/978-3-319-16817-3_8.
18.Schulter, S. Fast and accurate image upscaling with super-resolution forests /
S. Schulter, C. Leistner, H. Bischof. // IEEE Conference on Computer Vision and
Pattern Recognition (CVPR). – Boston, USA, June 7-12, 2015. – DOI:
10.1109/CVPR.2015.7299003.
19.Huang, J.-B. Single image super-resolution using transformed self-exemplars / J.-
B. Huang, A. Singh, N. Ahuja // IEEE Conference on Computer Vision and Pattern
Recognition(CVPR).–Boston,USA,June7-12,2015.–DOI:
10.1109/CVPR.2015.7299156.
20.Freedman, G. Image and video upscaling from local self-examples / G. Freedman,
R. Fattal // ACM Transactions on Graphics. – 2011. – Vol. 30(2). – DOI:
10.1145/1944846.1944852.
21.Yang, J. Fast image super-resolution based on in-place example regression / J. Yang,
Z. Lin, S. Cohen // IEEE Conference on Computer Vision and Pattern Recognition
(CVPR). – Portland, USA, June 23-28, 2013. – P. 1059-1066. – DOI:
10.1109/CVPR.2013.141.
22.Dong, C. Image super-resolution using deep convolutional networks / C. Dong,
C.C. Loy, K. He, X. Tang // IEEE Transactions on Pattern Analysis and Machine
Intelligence–2016.–Vol. 38(2).–P. 295-307.–DOI:
10.1109/TPAMI.2015.2439281.
23.Dong, C. Accelerating the super-resolution convolutional neural network / C. Dong,
C.C. Loy, X. Tang // Proceeding of European Conference on Computer Vision. –
2016. – P. 391-407. – DOI: 10.1007/978-3-319-46475-6_25.
24.Kim, J. Accurate Image Super-Resolution Using Very Deep Convolutional
Networks / J. Kim, J.K. Lee, K.M. Lee // IEEE Conference on Computer Vision and
Pattern Recognition (CVPR). – Las Vegas, USA, 2016. – P. 1646-1654. – DOI:
10.1109/CVPR.2016.182.
25.Ledig, C. Photo-Realistic Single Image Super-Resolution Using a Generative
Adversarial Network / C. Ledig, L. Theis, F. Huszár et al. // IEEE Conference on
Computer Vision and Pattern Recognition (CVPR). – Honolulu, USA, 2017. –
P. 105-114. – DOI: 10.1109/CVPR.2017.19.
26.Tsai, R.Y. Multipleframe image restoration and registration / R.Y. Tsai, T.S. Huang
// Advances in Computer Vision and Image Processing. – 1984. – P. 317-339.
27.Kim, S.P. Recursive reconstruction of high resolution image from noisy
undersampled multiframes / S.P. Kim, N.K. Bose, H.M. Valenzuela // IEEE
Transactions on Acoustics, Speech, and Signal Processing. – 1990. – Vol. 38(6). –
P. 1013-1027. – DOI: 10.1109/29.56062.
28.Kim, S.P. Recursive high-resolution reconstruction of blurred multiframe images /
S.P. Kim, W.Y. Su // IEEE Transactions on Image Processing – 1993. – Vol. 2(4). –
P. 534–539. – DOI: 10.1109/83.242363.
29.Nguen, N. An efficient wavelet-based algorithm for image superresolution /
N. Nguyen, P. Milanfar // IEEE International Conference on Image Processing. –
Vancouver,Canada,September10-13,2000.–P. 351-354.–DOI:
10.1109/ICIP.2000.899387.
30.Ji, H. Robust wavelet-based super-resolution reconstruction: theory and algorithm /
H. Ji, C. Fermüller // IEEE Transactions on Pattern Analysis and Machine
Intelligence. – 2009. – Vol. 31(4). – P. 649-660. – DOI: 10.1109/TPAMI.2008.103.
31.Ur., H. Improved Resolution from Subpixel Shifted Pictures / H. Ur, D. Gross //
CVGIP: Graphical Models and Image Processing. –1992. – Vol. 54(2). – P. 181-186.
– DOI: 10.1016/1049-9652(92)90065-6.
32.Bose, N.K. Superresolution and Noise Filtering Using Moving Least Squares /
N.K. Bose, N.A. Ahuja // IEEE Transactions on Image Processing. – 2006. – Vol.
15(8). – P. 2239-2248. – DOI: 10.1109/TIP.2006.877406.
33.Chantas, G.K. Super-resolution based on fast registration and maximum a posteriori
reconstruction / G.K. Chantas, G.P. Galatsanos, N.A. Woods // IEEE Transactions
on Image Processing. – 2007. – Vol. 16(7). – P. 1821-1830. – DOI:
10.1109/TIP.2007.896664.
34.Tian, J. Stochastic super-resolution image reconstruction / J. Tian, K.-K. Ma //
Journal of Visual Communication and Image Representation. – 2010. – Vol. 21(3). –
P. 232-244. – DOI: 10.1016/j.jvcir.2010.01.001.
35.Belekos, S.P. Maximum a Posteriori Video Super-Resolution Using a New
Multichannel Image Prior / S.P. Belekos, N.P. Galatsanos, A.K. Katsaggelos // IEEE
Transactions on Image Processing. – 2010. – Vol. 19(6). – P. 1451-1464. – DOI:
10.1109/TIP.2010.2042115.
36.Irani, M. Super resolution from image sequences / M. Irani, S. Peleg // Proceeding
of 10th International Conference on Pattern Recognition. – 1990. – Vol. 2. – P. 115-
120.
37.Ji, H. Wavelet-Based Super-Resolution Reconstruction: Theory and Algorithm /
H. Ji, C. Fermüller // European Conference on Computer Vision. – Graz, Austria,
May 7-13, 2006. – Vol. 3954. – P. 295-307. – DOI: 10.1007/11744085_23.
38.Patti, A.J. Superresolution Video Reconstruction with Arbitrary Sampling Lattices
and Nonzero Aperture Time / A.J. Patti, M.I. Sezan, A.M. Tekalp // IEEE
Transactions on Image Processing. – 1997. – Vol. 6(8). – P. 1064-1076. – DOI:
10.1109/83.605404.
39.Elad, M. Super-resolution reconstruction of image sequences / M. Elad, A. Feuer //
IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1999. – Vol.
21(9). – P. 817-834. – DOI: 10.1109/34.790425.
40.Newland, C. Time invariant steady-state Kalman filter for image super-resolution /
C. Newland, D. Gray // Image and Vision Computing New Zealand 2005
(IVCNZ05). – 2006. – P. 381-387.
41.Newland, C. Modified Kalman filtering for image super-resolution / C. Newland,
D. Gray, D. Gibbins // Image and Vision Computing New Zealand 2006 (IVCNZ06).
– 2006. – P. 79-84.
42.Wei, Z. Kalman filter-based method for image superresolution using a sequence of
low-resolution images / Z. Wei, F. Tao, W. Jun // Journal of Electronic Imaging. –
2014. – Vol. 23(1). – DOI: 10.1117/1.JEI.23.1.013008.
43.Sajjadi, M. Frame-Recurrent Video Super-Resolution. / M. Sajjadi, R. Vemulapalli,
M. Brown // IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
– 2018. – P. 6626-6634. – DOI: 10.1109/CVPR.2018.00693.
44.Kawulok, M. Deep Learning for Multiple-Image Super-Resolution / M. Kawulok,
P. Benecki, S. Piechaczek, K. Hrynczenko, D. Kostrzewa, J. Nalepa // IEEE
Geoscience and Remote Sensing Letters. – 2019. – Vol. 17. – P. 1062-1066. – DOI:
10.1109/LGRS.2019.2940483.
45.Molini, A.B. DeepSUM:Deep NeuralNetworkfor Super-Resolution of
Unregistered Multitemporal Images / A.B. Molini, D. Valsesia, G. Fracastoro,
E. Magli // IEEE Transactions on Geoscience and Remote Sensing. – 2019. – P. 1-13.
– DOI: 10.1109/TGRS.2019.2959248.
46.Kim, J. Deeply-Recursive Convolutional Network for Image Super-Resolution /
J. Kim, J.K. Lee, K.M. Lee // IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), Las Vegas, USA. – 2016. – P. 1637-1645. – ISSN: 1063-6919.
– DOI: 10.1109/CVPR.2016.181.
47.Liu, C. On Bayesian Adaptive Video Super Resolution / C. Liu, D. Sun // IEEE
Transactions on Pattern Analysis and Machine Intelligence. – 2014. – Vol. 36(2). –
P. 346-360. – DOI: 10.1109/TPAMI.2013.127.
48.Kappeler, A. Video Super-Resolution with Convolutional Neural Networks /
A. Kappeler,S. Yoo,Q. Dai,A.K. Katsaggelos//IEEETransactionson
ComputationalImaging.–2016.–Vol. 2(2).–P. 109-122.–DOI:
10.1109/TCI.2016.2532323.
49.Makansi, O. End-to-End Learning of Video Super-Resolution with Motion
Compensation / O. Makansi, E. Ilg, T. Brox. // Pattern Recognition. GCPR 2017.
Lecture Notes in Computer Science. – P. 203-214. – DOI: 10.1007/978-3-319-
66709-6_17.
50.Caballero, J. Real-Time Video Super-Resolution with Spatio-Temporal Networks
and Motion Compensation / J. Caballero, C. Ledig, A. Aitken et al. // 2017 IEEE
Conference on Computer Vision and Pattern Recognition (CVPR). – Honolulu, USA,
July 21-26, 2017. – P. 2848-2857. – DOI: 10.1109/CVPR.2017.304.
51.Ma, Z. Handling motion blur in multi-frame super-resolution / Z. Ma, R. Liao,
X. Tao, L. Xu, J. Jia, E. Wu // 2015 IEEE Conference on Computer Vision and
Pattern Recognition (CVPR). – Boston, USA, June 7-12, 2015. – P. 5224-5232. –
DOI: 10.1109/CVPR.2015.7299159.
52.Kanemura, A.Imagesuperresolutionunderspatiallystructurednoise/
A. Kanemura, S. Maeda, S. Ishii // IEEE Int. Symp. Signal Processing and
Information Technology. – Cairo, Egypt, December 15-18, 2007. – P. 275-280. –
DOI: 10.1109/ISSPIT.2007.4458156.
53.Fukuda, W. Superresolution from occluded scenes / W. Fukuda, A. Kanemura,
S. Maeda, S. Ishii // International Conference on Neural Information Processing. –
Bangkok, Thailand, December 1-5, 2009. – P. 19-27. – DOI: 10.1007/978-3-642-
10684-2_3.
54.Negi, C.S. Super-resolution de-fencing: Simultaneous fence removal and high-
resolution image recovery using videos / C.S. Negi, K. Mandal, R.R. Sahay,
M.S. Kankanhalli // Proc. Of IEEE International Conference on Multimedia and
Expo Workshops. – 2014. – P. 1-6. – DOI: 10.1109/ICMEW.2014.6890641.
55.Ivankov, A.Y. Image sequence filtering algorithms for resolution improvement in
applicative noise conditions / A.Y. Ivankov, A.A. Sirota // Optoelectronics,
Instrumentation and Data Processing. – 2015. – Vol. 51. – P. 622-631. – DOI:
10.3103/S8756699015060151.
56.Иванков, А.Ю. Блочные алгоритмы обработки изображений на основе
фильтра Калмана в задаче построения сверхразрешения / А.Ю. Иванков,
А.А. Сирота // Компьютерная оптика. – 2014. – Т. 38, № 1. – С. 118-125.
57.Иванков, А.Ю. Адаптивные алгоритмы построения сверхразрешения на
основеобработкипоследовательностиизображений/Иванков А.Ю.,
Сирота А.А. // Оптический журнал. – 2017. – Т. 84, №. 5. – С. 38-45.
58.Иванков, А.Ю.Адаптивныйалгоритмоптимальнойфильтрациидля
повышения разрешения на основе обработки последовательности цифровых
изображений // Вестн. Воронежского гос. ун-та. Сер. Системный анализ и
информационные технологии. – 2016. – №. 4. – С. 142-147.
59.Саввин, С.В. Алгоритм построения сверхразрешения на основе калмановской
фильтрации и суперпиксельной сегментации изображений / С.В. Саввин,
А.А. Сирота,А.Ю. Иванков//XIXМеждународнаяконференция
«Информатика: проблемы, методология, технологии». – Воронеж, Россия, 14-
15 февраля, 2019. – C. 862-866.
60.Savvin, S.V. Superresolution algorithms in applicative noise conditions using
superpixel segmentation / S.V. Savvin, A.A. Sirota, A.Yu. Ivankov // International
Conference on Digital Image & Signal Processing. – Oxford, United Kingdom, April,
29-30, 2019.
61.Саввин, С.В. Синтез и анализ алгоритмов построения многокадрового
сверхразрешения в условиях аппликативных помех / С.В. Саввин, А.А. Сирота
// Международная научно-техническая конференция «Актуальные проблемы
прикладной математики, информатики и механики». – Воронеж, Россия, 11-13
ноября, 2019. – C. 376-383.
62.Саввин, С.В. Анализ алгоритмов построения сверхразрешения изображений в
условиях аппликативных помех / С.В. Саввин, А.А. Сирота, А.Ю. Иванков //
XX Международная конференция «Информатика: проблемы, методология,
технологии». – Воронеж, Россия, 13-14 февраля, 2020. – C. 1155-1161.
63.Savvin, S.V. Performance of super-resolution algorithms under applicative noise /
S.V. Savvin, A.A. Sirota // Journal of Physics: Conference Series. Applied
Mathematics, Computational Science and Mechanics: Current Problems. – 2019. –
Vol. 1479. – P. 11-13. – DOI: 10.1088/1742-6596/1479/1/012080.
64.Savvin, S.V. An Algorithm for Multi-Frame Image Super-Resolution Under
Applicative Noise Based on a Convolutional Neural Network / S.V. Savvin,
A.A. Sirota // 2nd International Conference on Control Systems, Mathematical
Modeling, Automation and Energy Efficiency (SUMMA). – Lipetsk, Russia,
November11-13,2020.–P. 422-424.–DOI:
10.1109/SUMMA50634.2020.9280698.
65.Саввин, С.В. Методы и алгоритмы построения сверхразрешения для
последовательности изображений в условиях аппликативных помех /
С.В. Саввин, А.А. Сирота, А.Ю. Иванков // Известия РАН. Теория и системы
управления. – 2021. – № 3. – С. 136-148. – DOI: 10.31857/S0002338821030070.
66.Саввин, С.В.Алгоритмыпостроениямногокадровогосверхразрешения
изображений в условиях аппликативных помех на основе глубоких нейронных
сетей / С.В. Саввин, А.А. Сирота // Компьютерная оптика. – 2022. – Т. 46, № 1.
– С. 130-138. – DOI: 10.18287/2412-6179-CO-904.
67.Саввин, С.В.Алгоритмическиеспособыпостроениясверхразрешения
видеоданных в условиях аппликативных помех с использованием глубоких
нейронных сетей / С.В. Саввин // Вестн. Воронежского гос. ун-та, Сер.
Системный анализ и информационные технологии. – Воронеж: ИПЦ ВГУ:
2021. – № 4. – С. 107-120. – DOI: 10.17308/sait.2021.4/3801.
68.Обработкаинформациивпространственно-распределенныхсистемах
радиомониторинга: статистический и нейросетевой подходы / Э.А. Кирсанов,
А.А. Сирота. – М.: Физматлит, 2012. – 343 с.
69.Калинин, П.В. Cтатистические, нейросетевые и комбинированные алгоритмы
фильтрацииаппликативныхпомехнаизображениях/П.В. Калинин,
А.А. Сирота // Автометрия. – 2012. – T. 48, №6. – С. 18-28.
70.Boykov, Y. Interactive Graph Cuts for Optimal Boundary and Region Segmentation
of Objects in N-D Images / Y. Boykov, M.P. Jolly // Proceeding of the 8th Intern.
Conf. on Computer Vision, Vancouver, Canada, July 7–14, 2001. – Vol. 1. – P. 105-
112. – DOI: 10.1109/ICCV.2001.937505.
71.Lloyd, S. Least Squares Quantization in PCM / S. Lloyd // IEEE Transactions on
InformationTheory.1982.–Vol. 28(2).–P. 129-137.–DOI:
10.1109/TIT.1982.1056489.
72.Finite Mixture Models / G. McLachlan, D. Peel. – Hoboken, NJ: John Wiley & Sons,
Inc., 2000. – 427 p.
73.Методы и алгоритмы анализа данных и их моделирование в MATLAB: учеб.
пособие. / А.А. Сирота – СПб.: БХВ-Петербург, 2016. – 384 с.
74.Bertalmío, M. Image inpainting / M. Bertalmío, G. Sapiro, V. Caselles, C. Ballester
// Proceedings of the ACM SIGGRAPH Conference on Computer Graphics. – July,
2000. – P. 417-424. – DOI: 10.1145/344779.344972.
75.Jiahui, Y. Free-Form Image Inpainting with Gated Convolution / Y. Jiahui, Z. Lin,
J. Yang, X. Shen, X. Lu, T. Huang // IEEE/CVF International Conference on
Computer Vision (ICCV). – Seoul, Korea, October 27-November 2, 2019. – P. 4470-
4479. – DOI: 10.1109/ICCV.2019.00457.
76.Stutz, D. Superpixels: An evaluation of the state-of-the-art / D. Stutz, A. Hermans,
B. Leibe // Computer Vision and Image Understanding. – 2018. – Vol. 166. – P. 1-27.
– DOI: 10.1016/j.cviu.2017.03.007.
77.Achanta, R. SLIC Superpixels Compared to State-of-the-Art Superpixel Methods /
R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Süsstrunk // IEEE transactions
on pattern analysis and machine intelligence. – 2012. – V. 34(11). – P. 2247-2281. –
DOI: 10.1109/TPAMI.2012.120.
78.Саввин, С.В. Алгоритмы суперпиксельной сегментации изображений и их
применение для анализа изображения с разнородной текстурой / С.В. Саввин,
А.А. Сирота // Вестн. Воронежского гос. ун-та, Сер. Системный анализ и
информационные технологии. – 2016. – № 4. – С. 165-173.
79.Саввин, С.В.Моделииалгоритмысуперпиксельнойсегментации
изображений / С.В. Саввин, А.А. Сирота // Сборник студенческих научных
работ факультета компьютерных наук ВГУ. – Воронеж: ИПЦ ВГУ, 2016. –
Вып. 10. – С. 160–165.
80.Malik, J. Normalized Cuts and Image Segmentation / J. Malik, J. Shi // IEEE
transactions on pattern analysis and machine intelligence. – 2000. – Vol 22(8). –
P. 888-905. – DOI. 10.1109/34.868688.
81.Liu, M. Entropy Rate Superpixel Segmentation / M. Liu, O. Tuzel, S. Ramalingam,
R. Chellappa // Conference on Computer Vision and Pattern Recognition – Colorado
Springs, USA, June 20-25, 2011. – DOI: 10.1109/CVPR.2011.5995323.
82.Veksler, O. Superpixels and Supervoxels in an Energy Optimization Framework /
O. Veksler, Y. Boykov, P. Mehrani // 11th European Conference on Computer
Vision. – Heraklion, Greece, September 5-11, 2010. – P. 211-224. – DOI.
10.1007/978-3-642-15555-0_16.
83.Long, J. Fully convolutional networks for semantic segmentation / J. Long, E.
Shelhamer, T. Darrel // IEEE Transactions on Pattern Analysis and Machine
Intelligence.–2014.–Vol. 39(4).–P. 640-651.–DOI:
10.1109/TPAMI.2016.2572683.
84.Handbook of Deep Learning Applications / V.E. Balas, S.S. Roy, D. Sharma,
P. Samui (editors). – Springer, 2019. – 383 p.
85.Chen, L.C. Encoder-Decoder with Atrous Separable Convolution for Semantic
Image Segmentation / L.C. Chen, Y. Zhu, G. Papandreou, F. Schroff, H. Adam //
European Conference on Computer Vision. – Munich, Germany, September 8-14,
2018. – DOI: 10.1007/978-3-030-01234-2_49.
86.Ronneberger, O.U-Net:ConvolutionalNetworksforBiomedicalImage
Segmentation / O. Ronneberger, P. Fischer, T. Brox // 18th International Conference
on Medical Image Computing and Computer Assisted Intervention. – Munich,
Germany, October 5-9, 2015. – DOI: 10.1007/978-3-319-24574-4_28.
87.Zhou, W. Image Quality Assessment: From Error Visibility to Structural Similarity /
W. Zhou, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli // IEEE Transactions on Image
Processing. – 2004. – Vol. 13(4). – P. 600-612. – DOI: 10.1109/TIP.2003.819861.
88.Mittal, A. Making a Completely Blind Image Quality Analyzer / A. Mittal,
R. Soundararajan, A.C. Bovik // IEEE Signal Processing Letters. – 2013. – V. 22(3).
– P. 209-212. – DOI: 10.1109/LSP.2012.2227726.
89.Sun, D. PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost
Volume / D. Sun, X. Yang, M. Liu, J. Kautz // 2018 IEEE/CVF Conference on
Computer Vision and Pattern Recognition. – Salt Lake City, USA, June 18-23, 2018.
– P. 8934-8943. DOI: 10.1109/CVPR.2018.00931.
90.Hui, T.-W. A Lightweight Optical Flow CNN – Revisiting Data Fidelity and
Regularization / T.-W. Hui, X. Tang, C.C. Loy // IEEE Transactions on Pattern
Analysis and Machine Intelligence. – 2020. – DOI: 10.1109/TPAMI.2020.2976928.
91.Krizhevsky, A. ImageNet Classification with Deep Convolutional Neural Networks
/ A. Krizhevsky, I. Sutskever, G.E. Hinton // Advances in neural information
processing systems. – 2012. – Vol. 25(2). – P. 1-9. – DOI: 10.1145/3065386.
92.Nickolls, J. Scalable Parallel Programming with CUDA: Is CUDA the parallel
programming model that application developers have been waiting for? / J. Nickolls,
I. Buck, M. Garland, K. Skadron // Queue. – 2008. – Vol 6(2). – P. 40-53. – DOI:
10.1145/1365490.1365500.
93.Pattern Recognition and Machine Learning / C.M. Bishop. – Springer, New York,
NY, 2006. – 758 p.
94.Kingma, D. Adam: A Method for Stochastic Optimization / D. Kingma, J.L. Ba //
3rd International Conference for Learning Representations. San Diego, USA, 2015.
– https://arxiv.org/abs/1412.6980.
95.Введение в статистическую теорию распознавания образов / К. Фукунага. –
М.: Наука, 1979. – 368 с.
96.Анализ и компьютерное моделирование информационных процессов и систем
/ Э.К. Алгазинов, А.А. Сирота. – М.: Диалог-МИФИ, 2009. – 416 с.
97.Statistical Physics of Spin Glasses and Information Processing / H. Nishimori. –
Oxford: Oxford University Press, 2001. – 256 p.
98.Matrix Computations, 3rd ed / G.H. Golub, F.V. Loan. – Baltimore: Johns Hopkins
University Press, 1996. – 694 p.
99.Markov Random Field Modeling in Image Analysis / S.Z. Li. – Berlin: Springer-
Verlag, 2001. – 384 p.
100. Xiao, J. SUN Database: Large-scale Scene Recognition from Abbey to Zoo /
J. Xiao, J. Hays, K. Ehinger, A. Oliva, A. Torral // IEEE Conference on Computer
Vision and Pattern Recognition. – San Francisco, USA, June 13-18, 2010. – P. 3485-
3492. – DOI: 10.1109/CVPR.2010.5539970.