Методы и алгоритмы автоматического аннотирования изображений в информационно-поисковых системах

Проскурин, Александр Викторович

ВВЕДЕНИЕ………………………………………………………………………………………………. 4
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ И АЛГОРИТМОВ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ ………….. 9
1.1 Анализ существующих методов автоматического аннотирования
изображений …………………………………………………………………………………………… 9
1.1.1 Классификационные методы ……………………………………………………… 10
1.1.2 Генеративные методы ………………………………………………………………… 15
1.1.3 Поисковые методы …………………………………………………………………….. 20
1.1.4 Сравнение методов автоматического аннотирования изображений 25
1.2 Анализ методов кластеризации данных ……………………………………………. 26
1.2.1 Иерархические методы ………………………………………………………………. 26
1.2.2 Методы квадратичной ошибки …………………………………………………… 28
1.2.3 Инкрементальные методы ………………………………………………………….. 29
1.3 Анализ низкоуровневых признаков изображений …………………………….. 30
1.3.1 Цветовые признаки ……………………………………………………………………. 31
1.3.2 Текстурные признаки …………………………………………………………………. 34
1.3.3 Признаки формы………………………………………………………………………… 36
1.3.4 Локальные дескрипторы …………………………………………………………….. 37
1.3.5 Кодирование локальных дескрипторов ………………………………………. 41
1.4 Анализ существующего программного обеспечения ………………………… 44
1.5 Выводы по главе ……………………………………………………………………………… 49
ГЛАВА 2. АВТОМАТИЧЕСКОЕ АННОТИРОВАНИЕ ИЗОБРАЖЕНИЙ
НА ОСНОВЕ ОДНОРОДНЫХ ТЕКСТОВО-ВИЗУАЛЬНЫХ ГРУПП … 52
2.1 Вычисление глобального визуального дескриптора………………………….. 54
2.1.1 Быстрое вычисление набора локальных дескрипторов ……………….. 55
2.1.2 Вычисление цветовых локальных дескрипторов…………………………. 59
2.1.3 Кодирование набора локальных дескрипторов……………………………. 61
2.2 Создание текстового дескриптора ……………………………………………………. 64
2.2.1 Формирование текстового дескриптора ……………………………………… 64
2.2.2 Восстановление пропущенных ключевых слов …………………………… 66
2.3 Формирование однородных текстово-визуальных групп ………………….. 69
2.3.1 Первичное разделение обучающих изображений………………………… 70
2.3.2 Кластеризация обучающих изображений ……………………………………. 71
2.4 Автоматическое аннотирование изображений ………………………………….. 77
2.5 Выводы по главе ……………………………………………………………………………… 79
ГЛАВА 3. ПОСТРОЕНИЕ ЭКСПЕРИМЕНТАЛЬНОЙ СИСТЕМЫ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ И
ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ …………………………………………. 82
3.1 Структурная схема и описание модулей системы автоматического
аннотирования изображений …………………………………………………………………. 82
3.2 Результаты экспериментальных исследований вычисления визуальных
дескрипторов ………………………………………………………………………………………… 91
3.2.1 Сравнение с существующими локальными дескрипторами ………… 93
3.2.2 Исследование параметров алгоритма формирования глобальных
дескрипторов……………………………………………………………………………………… 94
3.2.3 Исследование цветовых локальных дескрипторов ………………………. 98
3.2.4 Многопоточное вычисление локальных дескрипторов ……………….. 99
3.3 Результаты экспериментальных исследований автоматического
аннотирования изображений ……………………………………………………………….. 100
3.3.1 Исследование параметров алгоритмов формирования ОТВ-групп и
автоматического аннотирования изображений ………………………………….. 102
3.3.2 Исследование параметров алгоритма восстановления ключевых
слов обучающих изображений ………………………………………………………….. 106
3.3.1 Сравнение с существующими методами автоматического
аннотирования изображений …………………………………………………………….. 107
3.4 Выводы по главе ……………………………………………………………………………. 108
ЗАКЛЮЧЕНИЕ ……………………………………………………………………………………. 111
БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………………. 113
ПРИЛОЖЕНИЕ 1. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
ФОРМИРОВАНИЯ ВИЗУАЛЬНЫХ СЛОВ (FORVW)» …………………….. 126
ПРИЛОЖЕНИЕ 2. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ (AIA)» …………………………………… 127
ПРИЛОЖЕНИЕ 3. АКТ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ В
ООО «НПП «БЕВАРД» ………………………………………………………………………… 128
ПРИЛОЖЕНИЕ 4. АКТ ОБ ИСПОЛЬЗОВАНИИ МАТЕРИАЛОВ В
СИБИРСКОМ ГОСУДАРСТВЕННОМ АЭРОКОСМИЧЕСКОМ
УНИВЕРСИТЕТЕ ………………………………………………………………………………… 129

Актуальность работы. В последние десятилетия широкое
распространение устройств со встроенными видеокамерами привело к
экспоненциальному росту количества изображений в сети интернет, что
вызвало необходимость их эффективного поиска. Существующие методы
поиска изображений можно разделить на три типа: поиск по текстовым
аннотациям, анализ изображений по визуальному содержанию и методы на
основе автоматического аннотирования. В поисковых методах первого типа
изображениям вручную присваиваются субъективные текстовые описания, а
поиск осуществляется как в текстовых документах. Методы поиска
изображений по содержанию, требующие изображение-запрос, выполняют
поиск на основе анализа и сравнения низкоуровневых признаков
изображения, таких как цвет или текстура. Однако при этом часто
наблюдается проблема семантического разрыва – отсутствия связи между
низкоуровневыми признаками изображения и его интерпретацией человеком.
Основной идеей методов автоматического аннотирования изображений
(ААИ) является формирование семантической модели из обучающей
выборки изображений большого объема. С помощью семантической модели
автоматически определяются ключевые слова для новых изображений. Таким
образом, методы автоматического аннотирования предполагают поиск по
ключевым словам, полученным на основе анализа содержания изображений,
и используют преимущества первых двух подходов.
Наиболее активные исследования в области автоматического
аннотирования изображений проводятся в таких университетах, как:
University of California (США), Massachusetts Institute of Technology (США),
University of Central Florida (США), Pennsylvania State University (США),
University of Florence (Италия), International Institute of Information Technology
(Индия). Среди отечественных учреждений, занимающихся данной
тематикой, можно отметить Томский политехнический университет (Томск),
Южный федеральный университет (Таганрог). Большой вклад в развитие
методов автоматического аннотирования изображений внесли P. Duygulu,
A. Makadia, Y. Verma, L. Ballan, S.L. Feng, M. Guillaumin, V. Lavrenko, А.С.
Мельниченко, А.А. Друки и другие.
Однако до сих пор существует ряд проблем, связанных с
автоматическим аннотированием изображений. Разработанные
экспериментальные системы с большой долей достоверности определяют
только 2–3 ключевых слова, при этом для формирования семантической
модели необходимы большие вычислительные затраты, а добавление новых
ключевых слов требует повторного обучения поисковой системы.
Целью диссертационной работы является повышение эффективности
автоматического аннотирования изображений в информационно-поисковых
системах.
Для достижения поставленной цели необходимо решить следующие
задачи:
1. Провести анализ методов и алгоритмов автоматического
аннотирования изображений, кластеризации данных, описания изображений
с помощью низкоуровневых признаков.
2. Разработать алгоритм быстрого параллельного вычисления набора

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Помогаем с подготовкой сопроводительных документов

    Совместно разработаем индивидуальный план и выберем тему работы Подробнее
    Помощь в подготовке к кандидатскому экзамену и допуске к нему Подробнее
    Поможем в написании научных статей для публикации в журналах ВАК Подробнее
    Структурируем работу и напишем автореферат Подробнее

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Юлия К. ЮУрГУ (НИУ), г. Челябинск 2017, Институт естественных и т...
    5 (49 отзывов)
    Образование: ЮУрГУ (НИУ), Лингвистический центр, 2016 г. - диплом переводчика с английского языка (дополнительное образование); ЮУрГУ (НИУ), г. Челябинск, 2017 г. - ин... Читать все
    Образование: ЮУрГУ (НИУ), Лингвистический центр, 2016 г. - диплом переводчика с английского языка (дополнительное образование); ЮУрГУ (НИУ), г. Челябинск, 2017 г. - институт естественных и точных наук, защита диплома бакалавра по направлению элементоорганической химии; СПХФУ (СПХФА), 2020 г. - кафедра химической технологии, регулирование обращения лекарственных средств на фармацевтическом рынке, защита магистерской диссертации. При выполнении заказов на связи, отвечаю на все вопросы. Индивидуальный подход к каждому. Напишите - и мы договоримся!
    #Кандидатские #Магистерские
    55 Выполненных работ
    Оксана М. Восточноукраинский национальный университет, студент 4 - ...
    4.9 (37 отзывов)
    Возможно выполнение работ по правоведению и политологии. Имею высшее образование менеджера ВЭД и правоведа, защитила кандидатскую и докторскую диссертации по политоло... Читать все
    Возможно выполнение работ по правоведению и политологии. Имею высшее образование менеджера ВЭД и правоведа, защитила кандидатскую и докторскую диссертации по политологии.
    #Кандидатские #Магистерские
    68 Выполненных работ
    Олег Н. Томский политехнический университет 2000, Инженерно-эконо...
    4.7 (96 отзывов)
    Здравствуйте! Опыт написания работ более 12 лет. За это время были успешно защищены более 2 500 написанных мною магистерских диссертаций, дипломов, курсовых работ. Явл... Читать все
    Здравствуйте! Опыт написания работ более 12 лет. За это время были успешно защищены более 2 500 написанных мною магистерских диссертаций, дипломов, курсовых работ. Являюсь действующим преподавателем одного из ВУЗов.
    #Кандидатские #Магистерские
    177 Выполненных работ
    Вики Р.
    5 (44 отзыва)
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написан... Читать все
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написание письменных работ для меня в удовольствие.Всегда качественно.
    #Кандидатские #Магистерские
    60 Выполненных работ
    Анна В. Инжэкон, студент, кандидат наук
    5 (21 отзыв)
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссе... Читать все
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссертаций. Работала в маркетинге. Практикующий бизнес-консультант.
    #Кандидатские #Магистерские
    31 Выполненная работа
    Яна К. ТюмГУ 2004, ГМУ, выпускник
    5 (8 отзывов)
    Помощь в написании магистерских диссертаций, курсовых, контрольных работ, рефератов, статей, повышение уникальности текста(ручной рерайт), качественно и в срок, в соот... Читать все
    Помощь в написании магистерских диссертаций, курсовых, контрольных работ, рефератов, статей, повышение уникальности текста(ручной рерайт), качественно и в срок, в соответствии с Вашими требованиями.
    #Кандидатские #Магистерские
    12 Выполненных работ
    Петр П. кандидат наук
    4.2 (25 отзывов)
    Выполняю различные работы на заказ с 2014 года. В основном, курсовые проекты, дипломные и выпускные квалификационные работы бакалавриата, специалитета. Имею опыт напис... Читать все
    Выполняю различные работы на заказ с 2014 года. В основном, курсовые проекты, дипломные и выпускные квалификационные работы бакалавриата, специалитета. Имею опыт написания магистерских диссертаций. Направление - связь, телекоммуникации, информационная безопасность, информационные технологии, экономика. Пишу научные статьи уровня ВАК и РИНЦ. Работаю техническим директором интернет-провайдера, имею опыт работы ведущим сотрудником отдела информационной безопасности филиала одного из крупнейших банков. Образование - высшее профессиональное (в 2006 году окончил военную Академию связи в г. Санкт-Петербурге), послевузовское профессиональное (в 2018 году окончил аспирантуру Уральского федерального университета). Защитил диссертацию на соискание степени "кандидат технических наук" в 2020 году. В качестве хобби преподаю. Дисциплины - сети ЭВМ и телекоммуникации, информационная безопасность объектов критической информационной инфраструктуры.
    #Кандидатские #Магистерские
    33 Выполненных работы
    Анна С. СФ ПГУ им. М.В. Ломоносова 2004, филологический, преподав...
    4.8 (9 отзывов)
    Преподаю англ язык более 10 лет, есть опыт работы в университете, школе и студии англ языка. Защитила кандидатскую диссертацию в 2009 году. Имею большой опыт написания... Читать все
    Преподаю англ язык более 10 лет, есть опыт работы в университете, школе и студии англ языка. Защитила кандидатскую диссертацию в 2009 году. Имею большой опыт написания и проверки (в качестве преподавателя) контрольных и курсовых работ.
    #Кандидатские #Магистерские
    16 Выполненных работ
    Егор В. кандидат наук, доцент
    5 (428 отзывов)
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Ск... Читать все
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Скорее всего Ваш заказ будет выполнен раньше срока.
    #Кандидатские #Магистерские
    694 Выполненных работы

    Другие учебные работы по предмету

    Расширенное суперпиксельное представление изображений для их обработки и анализа
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод восстановления динамических изображений на основе оптимальной интерполяции
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод конверсационного анализа неструктурированных текстов социальных сетей
    📅 2021год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»