Методы и алгоритмы автоматического аннотирования изображений в информационно-поисковых системах

Проскурин, Александр Викторович

ВВЕДЕНИЕ………………………………………………………………………………………………. 4
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ И АЛГОРИТМОВ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ ………….. 9
1.1 Анализ существующих методов автоматического аннотирования
изображений …………………………………………………………………………………………… 9
1.1.1 Классификационные методы ……………………………………………………… 10
1.1.2 Генеративные методы ………………………………………………………………… 15
1.1.3 Поисковые методы …………………………………………………………………….. 20
1.1.4 Сравнение методов автоматического аннотирования изображений 25
1.2 Анализ методов кластеризации данных ……………………………………………. 26
1.2.1 Иерархические методы ………………………………………………………………. 26
1.2.2 Методы квадратичной ошибки …………………………………………………… 28
1.2.3 Инкрементальные методы ………………………………………………………….. 29
1.3 Анализ низкоуровневых признаков изображений …………………………….. 30
1.3.1 Цветовые признаки ……………………………………………………………………. 31
1.3.2 Текстурные признаки …………………………………………………………………. 34
1.3.3 Признаки формы………………………………………………………………………… 36
1.3.4 Локальные дескрипторы …………………………………………………………….. 37
1.3.5 Кодирование локальных дескрипторов ………………………………………. 41
1.4 Анализ существующего программного обеспечения ………………………… 44
1.5 Выводы по главе ……………………………………………………………………………… 49
ГЛАВА 2. АВТОМАТИЧЕСКОЕ АННОТИРОВАНИЕ ИЗОБРАЖЕНИЙ
НА ОСНОВЕ ОДНОРОДНЫХ ТЕКСТОВО-ВИЗУАЛЬНЫХ ГРУПП … 52
2.1 Вычисление глобального визуального дескриптора………………………….. 54
2.1.1 Быстрое вычисление набора локальных дескрипторов ……………….. 55
2.1.2 Вычисление цветовых локальных дескрипторов…………………………. 59
2.1.3 Кодирование набора локальных дескрипторов……………………………. 61
2.2 Создание текстового дескриптора ……………………………………………………. 64
2.2.1 Формирование текстового дескриптора ……………………………………… 64
2.2.2 Восстановление пропущенных ключевых слов …………………………… 66
2.3 Формирование однородных текстово-визуальных групп ………………….. 69
2.3.1 Первичное разделение обучающих изображений………………………… 70
2.3.2 Кластеризация обучающих изображений ……………………………………. 71
2.4 Автоматическое аннотирование изображений ………………………………….. 77
2.5 Выводы по главе ……………………………………………………………………………… 79
ГЛАВА 3. ПОСТРОЕНИЕ ЭКСПЕРИМЕНТАЛЬНОЙ СИСТЕМЫ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ И
ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ …………………………………………. 82
3.1 Структурная схема и описание модулей системы автоматического
аннотирования изображений …………………………………………………………………. 82
3.2 Результаты экспериментальных исследований вычисления визуальных
дескрипторов ………………………………………………………………………………………… 91
3.2.1 Сравнение с существующими локальными дескрипторами ………… 93
3.2.2 Исследование параметров алгоритма формирования глобальных
дескрипторов……………………………………………………………………………………… 94
3.2.3 Исследование цветовых локальных дескрипторов ………………………. 98
3.2.4 Многопоточное вычисление локальных дескрипторов ……………….. 99
3.3 Результаты экспериментальных исследований автоматического
аннотирования изображений ……………………………………………………………….. 100
3.3.1 Исследование параметров алгоритмов формирования ОТВ-групп и
автоматического аннотирования изображений ………………………………….. 102
3.3.2 Исследование параметров алгоритма восстановления ключевых
слов обучающих изображений ………………………………………………………….. 106
3.3.1 Сравнение с существующими методами автоматического
аннотирования изображений …………………………………………………………….. 107
3.4 Выводы по главе ……………………………………………………………………………. 108
ЗАКЛЮЧЕНИЕ ……………………………………………………………………………………. 111
БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………………. 113
ПРИЛОЖЕНИЕ 1. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
ФОРМИРОВАНИЯ ВИЗУАЛЬНЫХ СЛОВ (FORVW)» …………………….. 126
ПРИЛОЖЕНИЕ 2. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ (AIA)» …………………………………… 127
ПРИЛОЖЕНИЕ 3. АКТ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ В
ООО «НПП «БЕВАРД» ………………………………………………………………………… 128
ПРИЛОЖЕНИЕ 4. АКТ ОБ ИСПОЛЬЗОВАНИИ МАТЕРИАЛОВ В
СИБИРСКОМ ГОСУДАРСТВЕННОМ АЭРОКОСМИЧЕСКОМ
УНИВЕРСИТЕТЕ ………………………………………………………………………………… 129

Актуальность работы. В последние десятилетия широкое
распространение устройств со встроенными видеокамерами привело к
экспоненциальному росту количества изображений в сети интернет, что
вызвало необходимость их эффективного поиска. Существующие методы
поиска изображений можно разделить на три типа: поиск по текстовым
аннотациям, анализ изображений по визуальному содержанию и методы на
основе автоматического аннотирования. В поисковых методах первого типа
изображениям вручную присваиваются субъективные текстовые описания, а
поиск осуществляется как в текстовых документах. Методы поиска
изображений по содержанию, требующие изображение-запрос, выполняют
поиск на основе анализа и сравнения низкоуровневых признаков
изображения, таких как цвет или текстура. Однако при этом часто
наблюдается проблема семантического разрыва – отсутствия связи между
низкоуровневыми признаками изображения и его интерпретацией человеком.
Основной идеей методов автоматического аннотирования изображений
(ААИ) является формирование семантической модели из обучающей
выборки изображений большого объема. С помощью семантической модели
автоматически определяются ключевые слова для новых изображений. Таким
образом, методы автоматического аннотирования предполагают поиск по
ключевым словам, полученным на основе анализа содержания изображений,
и используют преимущества первых двух подходов.
Наиболее активные исследования в области автоматического
аннотирования изображений проводятся в таких университетах, как:
University of California (США), Massachusetts Institute of Technology (США),
University of Central Florida (США), Pennsylvania State University (США),
University of Florence (Италия), International Institute of Information Technology
(Индия). Среди отечественных учреждений, занимающихся данной
тематикой, можно отметить Томский политехнический университет (Томск),
Южный федеральный университет (Таганрог). Большой вклад в развитие
методов автоматического аннотирования изображений внесли P. Duygulu,
A. Makadia, Y. Verma, L. Ballan, S.L. Feng, M. Guillaumin, V. Lavrenko, А.С.
Мельниченко, А.А. Друки и другие.
Однако до сих пор существует ряд проблем, связанных с
автоматическим аннотированием изображений. Разработанные
экспериментальные системы с большой долей достоверности определяют
только 2–3 ключевых слова, при этом для формирования семантической
модели необходимы большие вычислительные затраты, а добавление новых
ключевых слов требует повторного обучения поисковой системы.
Целью диссертационной работы является повышение эффективности
автоматического аннотирования изображений в информационно-поисковых
системах.
Для достижения поставленной цели необходимо решить следующие
задачи:
1. Провести анализ методов и алгоритмов автоматического
аннотирования изображений, кластеризации данных, описания изображений
с помощью низкоуровневых признаков.
2. Разработать алгоритм быстрого параллельного вычисления набора

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Помогаем с подготовкой сопроводительных документов

    Совместно разработаем индивидуальный план и выберем тему работы Подробнее
    Помощь в подготовке к кандидатскому экзамену и допуске к нему Подробнее
    Поможем в написании научных статей для публикации в журналах ВАК Подробнее
    Структурируем работу и напишем автореферат Подробнее

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Дмитрий К. преподаватель, кандидат наук
    5 (1241 отзыв)
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполня... Читать все
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполняю уже 30 лет.
    #Кандидатские #Магистерские
    2271 Выполненная работа
    Виктор В. Смоленская государственная медицинская академия 1997, Леч...
    4.7 (46 отзывов)
    Имеют опыт грамотного написания диссертационных работ по медицине, а также отдельных ее частей (литературный обзор, цели и задачи исследования, материалы и методы, выв... Читать все
    Имеют опыт грамотного написания диссертационных работ по медицине, а также отдельных ее частей (литературный обзор, цели и задачи исследования, материалы и методы, выводы).Пишу статьи в РИНЦ, ВАК.Оформление патентов от идеи до регистрации.
    #Кандидатские #Магистерские
    100 Выполненных работ
    Екатерина Д.
    4.8 (37 отзывов)
    Более 5 лет помогаю в написании работ от простых учебных заданий и магистерских диссертаций до реальных бизнес-планов и проектов для открытия своего дела. Имею два об... Читать все
    Более 5 лет помогаю в написании работ от простых учебных заданий и магистерских диссертаций до реальных бизнес-планов и проектов для открытия своего дела. Имею два образования: экономист-менеджер и маркетолог. Буду рада помочь и Вам.
    #Кандидатские #Магистерские
    55 Выполненных работ
    Анна Н. Государственный университет управления 2021, Экономика и ...
    0 (13 отзывов)
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уни... Читать все
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уникальности с нуля. Все работы оформляю в соответствии с ГОСТ.
    #Кандидатские #Магистерские
    0 Выполненных работ
    Анастасия Б.
    5 (145 отзывов)
    Опыт в написании студенческих работ (дипломные работы, магистерские диссертации, повышение уникальности текста, курсовые работы, научные статьи и т.д.) по экономическо... Читать все
    Опыт в написании студенческих работ (дипломные работы, магистерские диссертации, повышение уникальности текста, курсовые работы, научные статьи и т.д.) по экономическому и гуманитарному направлениях свыше 8 лет на различных площадках.
    #Кандидатские #Магистерские
    224 Выполненных работы
    Лидия К.
    4.5 (330 отзывов)
    Образование высшее (2009 год) педагог-психолог (УрГПУ). В 2013 году получено образование магистр психологии. Опыт преподавательской деятельности в области психологии ... Читать все
    Образование высшее (2009 год) педагог-психолог (УрГПУ). В 2013 году получено образование магистр психологии. Опыт преподавательской деятельности в области психологии и педагогики. Написание диссертаций, ВКР, курсовых и иных видов работ.
    #Кандидатские #Магистерские
    592 Выполненных работы
    Шагали Е. УрГЭУ 2007, Экономика, преподаватель
    4.4 (59 отзывов)
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и... Читать все
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и диссертаций, Есть любимые темы - они дешевле обойдутся, ибо в радость)
    #Кандидатские #Магистерские
    76 Выполненных работ
    Алёна В. ВГПУ 2013, исторический, преподаватель
    4.2 (5 отзывов)
    Пишу дипломы, курсовые, диссертации по праву, а также истории и педагогике. Закончила исторический факультет ВГПУ. Имею высшее историческое и дополнительное юридическо... Читать все
    Пишу дипломы, курсовые, диссертации по праву, а также истории и педагогике. Закончила исторический факультет ВГПУ. Имею высшее историческое и дополнительное юридическое образование. В данный момент работаю преподавателем.
    #Кандидатские #Магистерские
    25 Выполненных работ
    Александр О. Спб государственный университет 1972, мат - мех, преподав...
    4.9 (66 отзывов)
    Читаю лекции и веду занятия со студентами по матанализу, линейной алгебре и теории вероятностей. Защитил кандидатскую диссертацию по качественной теории дифференциальн... Читать все
    Читаю лекции и веду занятия со студентами по матанализу, линейной алгебре и теории вероятностей. Защитил кандидатскую диссертацию по качественной теории дифференциальных уравнений. Умею быстро и четко выполнять сложные вычислительные работ
    #Кандидатские #Магистерские
    117 Выполненных работ

    Другие учебные работы по предмету

    Расширенное суперпиксельное представление изображений для их обработки и анализа
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод восстановления динамических изображений на основе оптимальной интерполяции
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод конверсационного анализа неструктурированных текстов социальных сетей
    📅 2021год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»