Методы и алгоритмы автоматического аннотирования изображений в информационно-поисковых системах
ВВЕДЕНИЕ………………………………………………………………………………………………. 4
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ И АЛГОРИТМОВ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ ………….. 9
1.1 Анализ существующих методов автоматического аннотирования
изображений …………………………………………………………………………………………… 9
1.1.1 Классификационные методы ……………………………………………………… 10
1.1.2 Генеративные методы ………………………………………………………………… 15
1.1.3 Поисковые методы …………………………………………………………………….. 20
1.1.4 Сравнение методов автоматического аннотирования изображений 25
1.2 Анализ методов кластеризации данных ……………………………………………. 26
1.2.1 Иерархические методы ………………………………………………………………. 26
1.2.2 Методы квадратичной ошибки …………………………………………………… 28
1.2.3 Инкрементальные методы ………………………………………………………….. 29
1.3 Анализ низкоуровневых признаков изображений …………………………….. 30
1.3.1 Цветовые признаки ……………………………………………………………………. 31
1.3.2 Текстурные признаки …………………………………………………………………. 34
1.3.3 Признаки формы………………………………………………………………………… 36
1.3.4 Локальные дескрипторы …………………………………………………………….. 37
1.3.5 Кодирование локальных дескрипторов ………………………………………. 41
1.4 Анализ существующего программного обеспечения ………………………… 44
1.5 Выводы по главе ……………………………………………………………………………… 49
ГЛАВА 2. АВТОМАТИЧЕСКОЕ АННОТИРОВАНИЕ ИЗОБРАЖЕНИЙ
НА ОСНОВЕ ОДНОРОДНЫХ ТЕКСТОВО-ВИЗУАЛЬНЫХ ГРУПП … 52
2.1 Вычисление глобального визуального дескриптора………………………….. 54
2.1.1 Быстрое вычисление набора локальных дескрипторов ……………….. 55
2.1.2 Вычисление цветовых локальных дескрипторов…………………………. 59
2.1.3 Кодирование набора локальных дескрипторов……………………………. 61
2.2 Создание текстового дескриптора ……………………………………………………. 64
2.2.1 Формирование текстового дескриптора ……………………………………… 64
2.2.2 Восстановление пропущенных ключевых слов …………………………… 66
2.3 Формирование однородных текстово-визуальных групп ………………….. 69
2.3.1 Первичное разделение обучающих изображений………………………… 70
2.3.2 Кластеризация обучающих изображений ……………………………………. 71
2.4 Автоматическое аннотирование изображений ………………………………….. 77
2.5 Выводы по главе ……………………………………………………………………………… 79
ГЛАВА 3. ПОСТРОЕНИЕ ЭКСПЕРИМЕНТАЛЬНОЙ СИСТЕМЫ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ И
ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ …………………………………………. 82
3.1 Структурная схема и описание модулей системы автоматического
аннотирования изображений …………………………………………………………………. 82
3.2 Результаты экспериментальных исследований вычисления визуальных
дескрипторов ………………………………………………………………………………………… 91
3.2.1 Сравнение с существующими локальными дескрипторами ………… 93
3.2.2 Исследование параметров алгоритма формирования глобальных
дескрипторов……………………………………………………………………………………… 94
3.2.3 Исследование цветовых локальных дескрипторов ………………………. 98
3.2.4 Многопоточное вычисление локальных дескрипторов ……………….. 99
3.3 Результаты экспериментальных исследований автоматического
аннотирования изображений ……………………………………………………………….. 100
3.3.1 Исследование параметров алгоритмов формирования ОТВ-групп и
автоматического аннотирования изображений ………………………………….. 102
3.3.2 Исследование параметров алгоритма восстановления ключевых
слов обучающих изображений ………………………………………………………….. 106
3.3.1 Сравнение с существующими методами автоматического
аннотирования изображений …………………………………………………………….. 107
3.4 Выводы по главе ……………………………………………………………………………. 108
ЗАКЛЮЧЕНИЕ ……………………………………………………………………………………. 111
БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………………. 113
ПРИЛОЖЕНИЕ 1. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
ФОРМИРОВАНИЯ ВИЗУАЛЬНЫХ СЛОВ (FORVW)» …………………….. 126
ПРИЛОЖЕНИЕ 2. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ (AIA)» …………………………………… 127
ПРИЛОЖЕНИЕ 3. АКТ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ В
ООО «НПП «БЕВАРД» ………………………………………………………………………… 128
ПРИЛОЖЕНИЕ 4. АКТ ОБ ИСПОЛЬЗОВАНИИ МАТЕРИАЛОВ В
СИБИРСКОМ ГОСУДАРСТВЕННОМ АЭРОКОСМИЧЕСКОМ
УНИВЕРСИТЕТЕ ………………………………………………………………………………… 129
Актуальность работы. В последние десятилетия широкое
распространение устройств со встроенными видеокамерами привело к
экспоненциальному росту количества изображений в сети интернет, что
вызвало необходимость их эффективного поиска. Существующие методы
поиска изображений можно разделить на три типа: поиск по текстовым
аннотациям, анализ изображений по визуальному содержанию и методы на
основе автоматического аннотирования. В поисковых методах первого типа
изображениям вручную присваиваются субъективные текстовые описания, а
поиск осуществляется как в текстовых документах. Методы поиска
изображений по содержанию, требующие изображение-запрос, выполняют
поиск на основе анализа и сравнения низкоуровневых признаков
изображения, таких как цвет или текстура. Однако при этом часто
наблюдается проблема семантического разрыва – отсутствия связи между
низкоуровневыми признаками изображения и его интерпретацией человеком.
Основной идеей методов автоматического аннотирования изображений
(ААИ) является формирование семантической модели из обучающей
выборки изображений большого объема. С помощью семантической модели
автоматически определяются ключевые слова для новых изображений. Таким
образом, методы автоматического аннотирования предполагают поиск по
ключевым словам, полученным на основе анализа содержания изображений,
и используют преимущества первых двух подходов.
Наиболее активные исследования в области автоматического
аннотирования изображений проводятся в таких университетах, как:
University of California (США), Massachusetts Institute of Technology (США),
University of Central Florida (США), Pennsylvania State University (США),
University of Florence (Италия), International Institute of Information Technology
(Индия). Среди отечественных учреждений, занимающихся данной
тематикой, можно отметить Томский политехнический университет (Томск),
Южный федеральный университет (Таганрог). Большой вклад в развитие
методов автоматического аннотирования изображений внесли P. Duygulu,
A. Makadia, Y. Verma, L. Ballan, S.L. Feng, M. Guillaumin, V. Lavrenko, А.С.
Мельниченко, А.А. Друки и другие.
Однако до сих пор существует ряд проблем, связанных с
автоматическим аннотированием изображений. Разработанные
экспериментальные системы с большой долей достоверности определяют
только 2–3 ключевых слова, при этом для формирования семантической
модели необходимы большие вычислительные затраты, а добавление новых
ключевых слов требует повторного обучения поисковой системы.
Целью диссертационной работы является повышение эффективности
автоматического аннотирования изображений в информационно-поисковых
системах.
Для достижения поставленной цели необходимо решить следующие
задачи:
1. Провести анализ методов и алгоритмов автоматического
аннотирования изображений, кластеризации данных, описания изображений
с помощью низкоуровневых признаков.
2. Разработать алгоритм быстрого параллельного вычисления набора
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
5 (9 отзывов)
4.9 (5 отзывов)
5 (8 отзывов)
4.4 (59 отзывов)
5 (14 отзывов)
4.8 (40 отзывов)
5 (44 отзыва)
5 (158 отзывов)
4.9 (37 отзывов)
