Методы и алгоритмы автоматического аннотирования изображений в информационно-поисковых системах

Проскурин, Александр Викторович

ВВЕДЕНИЕ………………………………………………………………………………………………. 4
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ И АЛГОРИТМОВ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ ………….. 9
1.1 Анализ существующих методов автоматического аннотирования
изображений …………………………………………………………………………………………… 9
1.1.1 Классификационные методы ……………………………………………………… 10
1.1.2 Генеративные методы ………………………………………………………………… 15
1.1.3 Поисковые методы …………………………………………………………………….. 20
1.1.4 Сравнение методов автоматического аннотирования изображений 25
1.2 Анализ методов кластеризации данных ……………………………………………. 26
1.2.1 Иерархические методы ………………………………………………………………. 26
1.2.2 Методы квадратичной ошибки …………………………………………………… 28
1.2.3 Инкрементальные методы ………………………………………………………….. 29
1.3 Анализ низкоуровневых признаков изображений …………………………….. 30
1.3.1 Цветовые признаки ……………………………………………………………………. 31
1.3.2 Текстурные признаки …………………………………………………………………. 34
1.3.3 Признаки формы………………………………………………………………………… 36
1.3.4 Локальные дескрипторы …………………………………………………………….. 37
1.3.5 Кодирование локальных дескрипторов ………………………………………. 41
1.4 Анализ существующего программного обеспечения ………………………… 44
1.5 Выводы по главе ……………………………………………………………………………… 49
ГЛАВА 2. АВТОМАТИЧЕСКОЕ АННОТИРОВАНИЕ ИЗОБРАЖЕНИЙ
НА ОСНОВЕ ОДНОРОДНЫХ ТЕКСТОВО-ВИЗУАЛЬНЫХ ГРУПП … 52
2.1 Вычисление глобального визуального дескриптора………………………….. 54
2.1.1 Быстрое вычисление набора локальных дескрипторов ……………….. 55
2.1.2 Вычисление цветовых локальных дескрипторов…………………………. 59
2.1.3 Кодирование набора локальных дескрипторов……………………………. 61
2.2 Создание текстового дескриптора ……………………………………………………. 64
2.2.1 Формирование текстового дескриптора ……………………………………… 64
2.2.2 Восстановление пропущенных ключевых слов …………………………… 66
2.3 Формирование однородных текстово-визуальных групп ………………….. 69
2.3.1 Первичное разделение обучающих изображений………………………… 70
2.3.2 Кластеризация обучающих изображений ……………………………………. 71
2.4 Автоматическое аннотирование изображений ………………………………….. 77
2.5 Выводы по главе ……………………………………………………………………………… 79
ГЛАВА 3. ПОСТРОЕНИЕ ЭКСПЕРИМЕНТАЛЬНОЙ СИСТЕМЫ
АВТОМАТИЧЕСКОГО АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ И
ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ …………………………………………. 82
3.1 Структурная схема и описание модулей системы автоматического
аннотирования изображений …………………………………………………………………. 82
3.2 Результаты экспериментальных исследований вычисления визуальных
дескрипторов ………………………………………………………………………………………… 91
3.2.1 Сравнение с существующими локальными дескрипторами ………… 93
3.2.2 Исследование параметров алгоритма формирования глобальных
дескрипторов……………………………………………………………………………………… 94
3.2.3 Исследование цветовых локальных дескрипторов ………………………. 98
3.2.4 Многопоточное вычисление локальных дескрипторов ……………….. 99
3.3 Результаты экспериментальных исследований автоматического
аннотирования изображений ……………………………………………………………….. 100
3.3.1 Исследование параметров алгоритмов формирования ОТВ-групп и
автоматического аннотирования изображений ………………………………….. 102
3.3.2 Исследование параметров алгоритма восстановления ключевых
слов обучающих изображений ………………………………………………………….. 106
3.3.1 Сравнение с существующими методами автоматического
аннотирования изображений …………………………………………………………….. 107
3.4 Выводы по главе ……………………………………………………………………………. 108
ЗАКЛЮЧЕНИЕ ……………………………………………………………………………………. 111
БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………………. 113
ПРИЛОЖЕНИЕ 1. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
ФОРМИРОВАНИЯ ВИЗУАЛЬНЫХ СЛОВ (FORVW)» …………………….. 126
ПРИЛОЖЕНИЕ 2. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ
ПРОГРАММЫ «СИСТЕМА АВТОМАТИЧЕСКОГО
АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ (AIA)» …………………………………… 127
ПРИЛОЖЕНИЕ 3. АКТ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ В
ООО «НПП «БЕВАРД» ………………………………………………………………………… 128
ПРИЛОЖЕНИЕ 4. АКТ ОБ ИСПОЛЬЗОВАНИИ МАТЕРИАЛОВ В
СИБИРСКОМ ГОСУДАРСТВЕННОМ АЭРОКОСМИЧЕСКОМ
УНИВЕРСИТЕТЕ ………………………………………………………………………………… 129

Актуальность работы. В последние десятилетия широкое
распространение устройств со встроенными видеокамерами привело к
экспоненциальному росту количества изображений в сети интернет, что
вызвало необходимость их эффективного поиска. Существующие методы
поиска изображений можно разделить на три типа: поиск по текстовым
аннотациям, анализ изображений по визуальному содержанию и методы на
основе автоматического аннотирования. В поисковых методах первого типа
изображениям вручную присваиваются субъективные текстовые описания, а
поиск осуществляется как в текстовых документах. Методы поиска
изображений по содержанию, требующие изображение-запрос, выполняют
поиск на основе анализа и сравнения низкоуровневых признаков
изображения, таких как цвет или текстура. Однако при этом часто
наблюдается проблема семантического разрыва – отсутствия связи между
низкоуровневыми признаками изображения и его интерпретацией человеком.
Основной идеей методов автоматического аннотирования изображений
(ААИ) является формирование семантической модели из обучающей
выборки изображений большого объема. С помощью семантической модели
автоматически определяются ключевые слова для новых изображений. Таким
образом, методы автоматического аннотирования предполагают поиск по
ключевым словам, полученным на основе анализа содержания изображений,
и используют преимущества первых двух подходов.
Наиболее активные исследования в области автоматического
аннотирования изображений проводятся в таких университетах, как:
University of California (США), Massachusetts Institute of Technology (США),
University of Central Florida (США), Pennsylvania State University (США),
University of Florence (Италия), International Institute of Information Technology
(Индия). Среди отечественных учреждений, занимающихся данной
тематикой, можно отметить Томский политехнический университет (Томск),
Южный федеральный университет (Таганрог). Большой вклад в развитие
методов автоматического аннотирования изображений внесли P. Duygulu,
A. Makadia, Y. Verma, L. Ballan, S.L. Feng, M. Guillaumin, V. Lavrenko, А.С.
Мельниченко, А.А. Друки и другие.
Однако до сих пор существует ряд проблем, связанных с
автоматическим аннотированием изображений. Разработанные
экспериментальные системы с большой долей достоверности определяют
только 2–3 ключевых слова, при этом для формирования семантической
модели необходимы большие вычислительные затраты, а добавление новых
ключевых слов требует повторного обучения поисковой системы.
Целью диссертационной работы является повышение эффективности
автоматического аннотирования изображений в информационно-поисковых
системах.
Для достижения поставленной цели необходимо решить следующие
задачи:
1. Провести анализ методов и алгоритмов автоматического
аннотирования изображений, кластеризации данных, описания изображений
с помощью низкоуровневых признаков.
2. Разработать алгоритм быстрого параллельного вычисления набора

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Помогаем с подготовкой сопроводительных документов

    Совместно разработаем индивидуальный план и выберем тему работы Подробнее
    Помощь в подготовке к кандидатскому экзамену и допуске к нему Подробнее
    Поможем в написании научных статей для публикации в журналах ВАК Подробнее
    Структурируем работу и напишем автореферат Подробнее

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Шагали Е. УрГЭУ 2007, Экономика, преподаватель
    4.4 (59 отзывов)
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и... Читать все
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и диссертаций, Есть любимые темы - они дешевле обойдутся, ибо в радость)
    #Кандидатские #Магистерские
    76 Выполненных работ
    Ксения М. Курганский Государственный Университет 2009, Юридический...
    4.8 (105 отзывов)
    Работаю только по книгам, учебникам, статьям и диссертациям. Никогда не использую технические способы поднятия оригинальности. Только авторские работы. Стараюсь учитыв... Читать все
    Работаю только по книгам, учебникам, статьям и диссертациям. Никогда не использую технические способы поднятия оригинальности. Только авторские работы. Стараюсь учитывать все требования и пожелания.
    #Кандидатские #Магистерские
    213 Выполненных работ
    Анастасия Л. аспирант
    5 (8 отзывов)
    Работаю в сфере метрологического обеспечения. Защищаю кандидатскую диссертацию. Основной профиль: Метрология, стандартизация и сертификация. Оптико-электронное прибост... Читать все
    Работаю в сфере метрологического обеспечения. Защищаю кандидатскую диссертацию. Основной профиль: Метрология, стандартизация и сертификация. Оптико-электронное прибостроение, управление качеством
    #Кандидатские #Магистерские
    10 Выполненных работ
    Мария А. кандидат наук
    4.7 (18 отзывов)
    Мне нравится изучать все новое, постоянно развиваюсь. Могу написать и диссертацию и кандидатскую. Есть опыт в различных сфера деятельности (туризм, экономика, бухучет... Читать все
    Мне нравится изучать все новое, постоянно развиваюсь. Могу написать и диссертацию и кандидатскую. Есть опыт в различных сфера деятельности (туризм, экономика, бухучет, реклама, журналистика, педагогика, право)
    #Кандидатские #Магистерские
    39 Выполненных работ
    Евгений А. доктор, профессор
    5 (154 отзыва)
    Более 40 лет занимаюсь преподавательской деятельностью. Специалист в области философии, логики и социальной работы. Кандидатская диссертация - по логике, докторская - ... Читать все
    Более 40 лет занимаюсь преподавательской деятельностью. Специалист в области философии, логики и социальной работы. Кандидатская диссертация - по логике, докторская - по социальной работе.
    #Кандидатские #Магистерские
    260 Выполненных работ
    Глеб С. преподаватель, кандидат наук, доцент
    5 (158 отзывов)
    Стаж педагогической деятельности в вузах Москвы 15 лет, автор свыше 140 публикаций (РИНЦ, ВАК). Большой опыт в подготовке дипломных проектов и диссертаций по научной с... Читать все
    Стаж педагогической деятельности в вузах Москвы 15 лет, автор свыше 140 публикаций (РИНЦ, ВАК). Большой опыт в подготовке дипломных проектов и диссертаций по научной специальности 12.00.14 административное право, административный процесс.
    #Кандидатские #Магистерские
    216 Выполненных работ
    Анна К. ТГПУ им.ЛН.Толстого 2010, ФИСиГН, выпускник
    4.6 (30 отзывов)
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помог... Читать все
    Я научный сотрудник федерального музея. Подрабатываю написанием студенческих работ уже 7 лет. 3 года назад начала писать диссертации. Работала на фирмы, а так же помогала студентам, вышедшим на меня по рекомендации.
    #Кандидатские #Магистерские
    37 Выполненных работ
    Вики Р.
    5 (44 отзыва)
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написан... Читать все
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написание письменных работ для меня в удовольствие.Всегда качественно.
    #Кандидатские #Магистерские
    60 Выполненных работ
    Анна В. Инжэкон, студент, кандидат наук
    5 (21 отзыв)
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссе... Читать все
    Выполняю работы по экономическим дисциплинам. Маркетинг, менеджмент, управление персоналом. управление проектами. Есть опыт написания магистерских и кандидатских диссертаций. Работала в маркетинге. Практикующий бизнес-консультант.
    #Кандидатские #Магистерские
    31 Выполненная работа

    Последние выполненные заказы

    Другие учебные работы по предмету

    Расширенное суперпиксельное представление изображений для их обработки и анализа
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод восстановления динамических изображений на основе оптимальной интерполяции
    📅 2022год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»
    Метод конверсационного анализа неструктурированных текстов социальных сетей
    📅 2021год
    🏢 ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»