Методы и алгоритмы автоматического аннотирования изображений в информационно-поисковых системах

Проскурин, Александр Викторович

ВВЕДЕНИЕ………………………………………………………………………………………………. 4
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ И АЛГОРИТМОВ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ ………….. 9
1.1 Анализ существующих методов автоматического аннотирования
изображений …………………………………………………………………………………………… 9
1.1.1 Классификационные методы ……………………………………………………… 10
1.1.2 Генеративные методы ………………………………………………………………… 15
1.1.3 Поисковые методы …………………………………………………………………….. 20
1.1.4 Сравнение методов автоматического аннотирования изображений 25
1.2 Анализ методов кластеризации данных ……………………………………………. 26
1.2.1 Иерархические методы ………………………………………………………………. 26
1.2.2 Методы квадратичной ошибки …………………………………………………… 28
1.2.3 Инкрементальные методы ………………………………………………………….. 29
1.3 Анализ низкоуровневых признаков изображений …………………………….. 30
1.3.1 Цветовые признаки ……………………………………………………………………. 31
1.3.2 Текстурные признаки …………………………………………………………………. 34
1.3.3 Признаки формы………………………………………………………………………… 36
1.3.4 Локальные дескрипторы …………………………………………………………….. 37
1.3.5 Кодирование локальных дескрипторов ………………………………………. 41
1.4 Анализ существующего программного обеспечения ………………………… 44
1.5 Выводы по главе ……………………………………………………………………………… 49
ГЛАВА 2. АВТОМАТИЧЕСКОЕ АННОТИРОВАНИЕ ИЗОБРАЖЕНИЙ
НА ОСНОВЕ ОДНОРОДНЫХ ТЕКСТОВО-ВИЗУАЛЬНЫХ ГРУПП … 52
2.1 Вычисление глобального визуального дескриптора………………………….. 54
2.1.1 Быстрое вычисление набора локальных дескрипторов ……………….. 55
2.1.2 Вычисление цветовых локальных дескрипторов…………………………. 59
2.1.3 Кодирование набора локальных дескрипторов……………………………. 61
2.2 Создание текстового дескриптора ……………………………………………………. 64
2.2.1 Формирование текстового дескриптора ……………………………………… 64
2.2.2 Восстановление пропущенных ключевых слов …………………………… 66
2.3 Формирование однородных текстово-визуальных групп ………………….. 69
2.3.1 Первичное разделение обучающих изображений………………………… 70
2.3.2 Кластеризация обучающих изображений ……………………………………. 71
2.4 Автоматическое аннотирование изображений ………………………………….. 77
2.5 Выводы по главе ……………………………………………………………………………… 79
ГЛАВА 3. ПОСТРОЕНИЕ ЭКСПЕРИМЕНТАЛЬНОЙ СИСТЕМЫ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ И
ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ …………………………………………. 82
3.1 Структурная схема и описание модулей системы автоматического
аннотирования изображений …………………………………………………………………. 82
3.2 Результаты экспериментальных исследований вычисления визуальных
дескрипторов ………………………………………………………………………………………… 91
3.2.1 Сравнение с существующими локальными дескрипторами ………… 93
3.2.2 Исследование параметров алгоритма формирования глобальных
дескрипторов……………………………………………………………………………………… 94
3.2.3 Исследование цветовых локальных дескрипторов ………………………. 98
3.2.4 Многопоточное вычисление локальных дескрипторов ……………….. 99
3.3 Результаты экспериментальных исследований автоматического
аннотирования изображений ……………………………………………………………….. 100
3.3.1 Исследование параметров алгоритмов формирования ОТВ-групп и
автоматического аннотирования изображений ………………………………….. 102
3.3.2 Исследование параметров алгоритма восстановления ключевых
слов обучающих изображений ………………………………………………………….. 106
3.3.1 Сравнение с существующими методами автоматического
аннотирования изображений …………………………………………………………….. 107
3.4 Выводы по главе ……………………………………………………………………………. 108
ЗАКЛЮЧЕНИЕ ……………………………………………………………………………………. 111
БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………………. 113
ПРИЛОЖЕНИЕ 1. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
ФОРМИРОВАНИЯ ВИЗУАЛЬНЫХ СЛОВ (FORVW)» …………………….. 126
ПРИЛОЖЕНИЕ 2. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ (AIA)» …………………………………… 127
ПРИЛОЖЕНИЕ 3. АКТ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ В
ООО «НПП «БЕВАРД» ………………………………………………………………………… 128
ПРИЛОЖЕНИЕ 4. АКТ ОБ ИСПОЛЬЗОВАНИИ МАТЕРИАЛОВ В
СИБИРСКОМ ГОСУДАРСТВЕННОМ АЭРОКОСМИЧЕСКОМ
УНИВЕРСИТЕТЕ ………………………………………………………………………………… 129

Актуальность работы. В последние десятилетия широкое
распространение устройств со встроенными видеокамерами привело к
экспоненциальному росту количества изображений в сети интернет, что
вызвало необходимость их эффективного поиска. Существующие методы
поиска изображений можно разделить на три типа: поиск по текстовым
аннотациям, анализ изображений по визуальному содержанию и методы на
основе автоматического аннотирования. В поисковых методах первого типа
изображениям вручную присваиваются субъективные текстовые описания, а
поиск осуществляется как в текстовых документах. Методы поиска
изображений по содержанию, требующие изображение-запрос, выполняют
поиск на основе анализа и сравнения низкоуровневых признаков
изображения, таких как цвет или текстура. Однако при этом часто
наблюдается проблема семантического разрыва – отсутствия связи между
низкоуровневыми признаками изображения и его интерпретацией человеком.
Основной идеей методов автоматического аннотирования изображений
(ААИ) является формирование семантической модели из обучающей
выборки изображений большого объема. С помощью семантической модели
автоматически определяются ключевые слова для новых изображений. Таким
образом, методы автоматического аннотирования предполагают поиск по
ключевым словам, полученным на основе анализа содержания изображений,
и используют преимущества первых двух подходов.
Наиболее активные исследования в области автоматического
аннотирования изображений проводятся в таких университетах, как:
University of California (США), Massachusetts Institute of Technology (США),
University of Central Florida (США), Pennsylvania State University (США),
University of Florence (Италия), International Institute of Information Technology
(Индия). Среди отечественных учреждений, занимающихся данной
тематикой, можно отметить Томский политехнический университет (Томск),
Южный федеральный университет (Таганрог). Большой вклад в развитие
методов автоматического аннотирования изображений внесли P. Duygulu,
A. Makadia, Y. Verma, L. Ballan, S.L. Feng, M. Guillaumin, V. Lavrenko, А.С.
Мельниченко, А.А. Друки и другие.
Однако до сих пор существует ряд проблем, связанных с
автоматическим аннотированием изображений. Разработанные
экспериментальные системы с большой долей достоверности определяют
только 2–3 ключевых слова, при этом для формирования семантической
модели необходимы большие вычислительные затраты, а добавление новых
ключевых слов требует повторного обучения поисковой системы.
Целью диссертационной работы является повышение эффективности
автоматического аннотирования изображений в информационно-поисковых
системах.
Для достижения поставленной цели необходимо решить следующие
задачи:
1. Провести анализ методов и алгоритмов автоматического
аннотирования изображений, кластеризации данных, описания изображений
с помощью низкоуровневых признаков.
2. Разработать алгоритм быстрого параллельного вычисления набора

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Помогаем с подготовкой сопроводительных документов

    Совместно разработаем индивидуальный план и выберем тему работы Подробнее
    Помощь в подготовке к кандидатскому экзамену и допуске к нему Подробнее
    Поможем в написании научных статей для публикации в журналах ВАК Подробнее
    Структурируем работу и напишем автореферат Подробнее

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Дарья Б. МГУ 2017, Журналистики, выпускник
    4.9 (35 отзывов)
    Привет! Меня зовут Даша, я окончила журфак МГУ с красным дипломом, защитила магистерскую диссертацию на филфаке. Работала журналистом, PR-менеджером в международных ко... Читать все
    Привет! Меня зовут Даша, я окончила журфак МГУ с красным дипломом, защитила магистерскую диссертацию на филфаке. Работала журналистом, PR-менеджером в международных компаниях, сейчас работаю редактором. Готова помогать вам с учёбой!
    #Кандидатские #Магистерские
    50 Выполненных работ
    user1250010 Омский государственный университет, 2010, преподаватель,...
    4 (15 отзывов)
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    #Кандидатские #Магистерские
    21 Выполненная работа
    Дарья П. кандидат наук, доцент
    4.9 (20 отзывов)
    Профессиональный журналист, филолог со стажем более 10 лет. Имею профильную диссертацию по специализации "Радиовещание". Подробно и серьезно разрабатываю темы научных... Читать все
    Профессиональный журналист, филолог со стажем более 10 лет. Имею профильную диссертацию по специализации "Радиовещание". Подробно и серьезно разрабатываю темы научных исследований, связанных с журналистикой, филологией и литературой
    #Кандидатские #Магистерские
    33 Выполненных работы
    Александр О. Спб государственный университет 1972, мат - мех, преподав...
    4.9 (66 отзывов)
    Читаю лекции и веду занятия со студентами по матанализу, линейной алгебре и теории вероятностей. Защитил кандидатскую диссертацию по качественной теории дифференциальн... Читать все
    Читаю лекции и веду занятия со студентами по матанализу, линейной алгебре и теории вероятностей. Защитил кандидатскую диссертацию по качественной теории дифференциальных уравнений. Умею быстро и четко выполнять сложные вычислительные работ
    #Кандидатские #Магистерские
    117 Выполненных работ
    Петр П. кандидат наук
    4.2 (25 отзывов)
    Выполняю различные работы на заказ с 2014 года. В основном, курсовые проекты, дипломные и выпускные квалификационные работы бакалавриата, специалитета. Имею опыт напис... Читать все
    Выполняю различные работы на заказ с 2014 года. В основном, курсовые проекты, дипломные и выпускные квалификационные работы бакалавриата, специалитета. Имею опыт написания магистерских диссертаций. Направление - связь, телекоммуникации, информационная безопасность, информационные технологии, экономика. Пишу научные статьи уровня ВАК и РИНЦ. Работаю техническим директором интернет-провайдера, имею опыт работы ведущим сотрудником отдела информационной безопасности филиала одного из крупнейших банков. Образование - высшее профессиональное (в 2006 году окончил военную Академию связи в г. Санкт-Петербурге), послевузовское профессиональное (в 2018 году окончил аспирантуру Уральского федерального университета). Защитил диссертацию на соискание степени "кандидат технических наук" в 2020 году. В качестве хобби преподаю. Дисциплины - сети ЭВМ и телекоммуникации, информационная безопасность объектов критической информационной инфраструктуры.
    #Кандидатские #Магистерские
    33 Выполненных работы
    Дмитрий К. преподаватель, кандидат наук
    5 (1241 отзыв)
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполня... Читать все
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполняю уже 30 лет.
    #Кандидатские #Магистерские
    2271 Выполненная работа
    Анна В. Инжэкон, студент, кандидат наук
    5 (21 отзыв)
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссе... Читать все
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссертаций. Работала в маркетинге. Практикующий бизнес-консультант.
    #Кандидатские #Магистерские
    31 Выполненная работа
    Елена Л. РЭУ им. Г. В. Плеханова 2009, Управления и коммерции, пре...
    4.8 (211 отзывов)
    Работа пишется на основе учебников и научных статей, диссертаций, данных официальной статистики. Все источники актуальные за последние 3-5 лет.Активно и уместно исполь... Читать все
    Работа пишется на основе учебников и научных статей, диссертаций, данных официальной статистики. Все источники актуальные за последние 3-5 лет.Активно и уместно использую в работе графический материал (графики рисунки, диаграммы) и таблицы.
    #Кандидатские #Магистерские
    362 Выполненных работы
    Евгения Р.
    5 (188 отзывов)
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и со... Читать все
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и создаю красивые презентации. Сопровождаю работы до сдачи, на связи 24/7 ?
    #Кандидатские #Магистерские
    359 Выполненных работ

    Последние выполненные заказы

    Другие учебные работы по предмету

    Расширенное суперпиксельное представление изображений для их обработки и анализа
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод восстановления динамических изображений на основе оптимальной интерполяции
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод конверсационного анализа неструктурированных текстов социальных сетей
    📅 2021год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»