Распознавание образов на изображениях с использованием инструментов машинного обучения
Представлен программный комплекс, осуществляющий распознавание изображений и
рукописных символов с использованием машинного обучения и построенного по
архитектуре искусственных нейронных сетей. Проведен выбор оптимальных средств
синтеза и моделирования нейронной сети. Экспериментально определена оптимальная
архитектура нейросети для задачи распознавания рукописных числовых символов.
Представлены результаты сравнения точности и времени выполнения кода
нейросетевого алгоритма с использованием систем облачной обработки данных.
Введение…………………………………………………………………………………………… 17
1 Объект и методы исследования …………………………………………………… 20
2 Модель нейронной сети ………………………………………………………………. 21
2.1 Обзор литературы …………………………………………………………………. 21
2.2 Математическая концепция нейронной сети ………………………….. 23
2.3 Свойства нейронных сетей ……………………………………………………. 24
2.3.1 Выпрямленная линейная функция активации (rectified linear
unit, ReLU) 24
2.3.2 Функция активации Softmax …………………………………………….. 25
2.3.3 Метод градиентного спуска ……………………………………………… 26
2.3.4 Алгоритм обратного распространения ошибки ………………… 27
2.4 Описание сверточной нейронной сети …………………………………… 31
2.4.1 Сверточный слой …………………………………………………………….. 32
2.4.2 Шаг свертки …………………………………………………………………….. 34
2.4.3 Выбор максимального значения из соседних ……………………. 35
2.4.4 Подвыборочный слой ………………………………………………………. 36
2.4.5 Визуализация промежуточных активаций ………………………… 36
2.4.6 Полносвязанный слой ……………………………………………………… 37
2.4.7 DropOut слой …………………………………………………………………… 38
3 Выбор программных средств ………………………………………………………. 41
3.1 Выбор языка программирования ……………………………………………. 41
3.1.1 Python ……………………………………………………………………………… 41
3.1.2 Описание используемых библиотек и фреймворков …………. 42
3.2 Выбор среды программирования …………………………………………… 43
3.2.1 Pycharm …………………………………………………………………………… 44
3.3 Выбор облачных сервисов для оптимизации процесса …………… 46
3.3.1 Google Colaboratory………………………………………………………….. 46
3.3.2 Microsoft Aruze ………………………………………………………………… 46
3.3.3 AWS ………………………………………………………………………………… 47
4 Поведенческое моделирование нейронной сети …………………………… 48
4.1 Генераторы …………………………………………………………………………… 48
4.2 Расширение данных ………………………………………………………………. 50
4.3 Предварительно обученная нейронная сеть……………………………. 52
4.4 Архитектура программного обеспечения……………………………….. 53
4.5 Результаты эксперимента ………………………………………………………. 55
5 Оптимизация аппаратных ресурсов …………………………………………….. 62
5.1 Google Colaboratory ……………………………………………………………….. 62
5.2 Azure Machine Learning …………………………………………………………. 63
5.3 AWS ……………………………………………………………………………………… 64
6 Финансовый менеджмент, ресурсоэффективность и
ресурсосбережение………………………………………………………………………………………. 66
6.1 Организация и планирование работ ……………………………………….. 66
6.1.1 Продолжительность этапов работ …………………………………….. 67
6.2 Расчет сметы затрат на выполнение проекта ………………………….. 70
6.2.1 Расчет затрат на материалы ……………………………………………… 70
6.2.2 Расчет заработной платы …………………………………………………. 71
6.2.3 Расчет затрат на социальный налог ………………………………….. 72
6.2.4 Расчет затрат на электроэнергию ……………………………………… 73
6.2.5 Расчет амортизационных расходов…………………………………… 74
6.2.6 Расчет прочих расходов …………………………………………………… 75
6.2.7 Расчет общей себестоимости разработки………………………….. 75
Расчет прибыли, НДС и цены разработки НИР ………………… 76
6.3 Оценка экономической эффективности проекта …………………….. 76
6.4 Оценка научно-технического уровня НИР …………………………….. 78
6.5 Выводы по разделу ……………………………………………………………….. 80
7 Социальная ответственность……………………………………………………….. 81
7.1 Введение ………………………………………………………………………………. 81
7.2 Правовые и организационные вопросы обеспечения
безопасности ……………………………………………………………………………………………. 81
7.2.1 Требования к организации рабочих мест пользователей …… 83
7.3 Производственная безопасность ……………………………………………. 84
7.3.1 Анализ опасных и вредных производственных факторов
Опасные и вредные производственные факторы, обладающие свойствами
психофизиологического воздействия ……………………………………………………. 86
7.3.1.1 Опасные и вредные производственные факторы,
связанные с аномальными микроклиматическими параметрами ………… 87
7.3.1.2 Опасные и вредные производственные факторы,
связанные с повышенным уровнем характеристик шумового воздействия
7.3.1.3 Опасные и вредные производственные факторы,
связанные с электрическим током……………………………………………………… 90
7.3.1.4 Опасные и вредные производственные факторы,
связанные с электромагнитными полями …………………………………………… 91
7.3.1.5 Опасные и вредные производственные факторы,
связанные со световой средой …………………………………………………………… 92
7.4 Экологическая безопасность …………………………………………………. 96
7.5 Безопасность в чрезвычайных ситуациях ………………………………. 97
7.6 Выводы по разделу ……………………………………………………………….. 98
Заключение ………………………………………………………………………………………. 99
Список публикаций…………………………………………………………………………. 100
Список используемой литературы …………………………………………………… 101
Приложение А ………………………………………………………………………………… 105
Приложение Б …………………………………………………………………………………. 121
Данная работа посвящена разработке методов и алгоритмов, входящих в
программный комплекс, осуществляющий распознавание изображений и
рукописных символов с использованием машинного обучения и построенного
по архитектуре искусственных нейронных сетей. В работе поднимаются
вопросы сложности обучения сети, ее возможного переобучения, а также
предлагаются варианты решения проблемы низкой производительности путем
оптимизации архитектуры сети и аппаратных ресурсов с применением
облачных сервисов обработки данных. В процессе исследования проведен
сравнительный анализ результатов обучения нейронной сети с применением
открытой библиотеки машинного обучения TensorFlow, библиотек Keras и
NumPy, а также набором данных из базы MNIST.
Актуальность данной темы исследования подтверждается массовым
внедрением компьютерных технологий и систем искусственного интеллекта
практически во все сферы человеческой деятельности такие как: системы видео
и аудио фиксации, поиск и обработка нецифровой информации, контроль
качества и другие, где требуется полная автоматизация процесса, повышение
качества, скорости выполнения задач. Фундаментальными исследованиями в
области нейронных сетей и распознавания образов занимался С. Хайкин. В его
трудах приводятся математическое обоснование нейросетевых алгоритмов,
примеров и описание компьютерных экспериментов по распознаванию образов,
управлению и обработке сигналов. Над задачами по визуальному анализу
данных работают научный национальный институт стандартов и технологий
(NIST), подразделение «Microsoft Research» и многие другие, которые
используют большое количество различных методов и практик для создания
новых нейросетевых алгоритмов, построенных в том числе и на сверточных
нейнонных сетях, так как они лучше подходят для задач визуального анализа
данных. Результаты таких исследований широко внедряются в современные
технологии оптико-электронных приборов и комплексов, ориентированных на
формирование и обработку цифровых изображений.
Одна из центральных проблем, которая должна быть разрешена с
помощью настоящего исследования — это проблема определения методов и
алгоритмов обработки информации на основе которых могли бы производиться
создание и направленная оптимизация инструментов решения поставленной
задачи. Таким образом, исходя из актуальности темы, задача настоящего
исследования направлена на разработку программного обеспечения для
распознавания рукописных цифр с использованием методов машинного
обучения.
Целью исследования является разработка автоматического метода
распознавания рукописных чисел, построенного на основе нейросетевого
алгоритма, а также синтез архитектуры нейронной сети и ее оптимизация, с
точки зрения ускорения и повышения точности распознавания цифровых
рукописных символов.
Предметом исследования в данной работе выступает оптимизация,
ускорение и повышение точности машинных систем распознавания образов.
Объектом исследования является созданная нейронная сеть, по
классификации относящаяся к типу сверточных нейросетей.
Научная новизна исследования заключается в создании оригинальной
архитектуры нейронной сети, построенной по принципу многослойности, и
относящаяся к типу сверточных, являющаяся вариацией многослойного
персептрона, где каждый слой содержит определенное количество рецептивных
полей.
Практическая значимости результатов исследования подтверждается
множеством публикаций по данной теме, а также повсеместным
использованием в повседневной жизни. Результаты работы могут быть
использованы в областях визуального анализа данных бумажной документации
какого-либо предприятия, где необходим перевод данных с бумажного
носителя в электронный вид.
Апробация работы проведена путем публикации научной работы
«Распознавание образов с использованием инструментов машинного обучения»
в журнале «Молодежь и современные информационные технологии».
В результате проделанной работы было проведено исследование
принципа работы сверточной нейронной сети и ее прикладное применения для
распознавания образов, в частности – рукописных цифр при помощи
современных методов машинного обучения. Разработано консольное
приложение на языке программирования Python для работы с данными из
открытой базы MNIST.
Архитектура сети для нейронной сети будет следующая:
– Чередующиеся слои свертки и подвыборки;
– Полносвязные слои для классификации;
– Техника с борьбы с переобучением(Dropout).
Разработанное приложение впоследствии может послужить отправной
точкой для разработки ядра более мощной программы распознавания
рукописного ввода, а именно связки цифр, символов (номера автомобилей,
почтовые индексы и т.д.).
Список публикаций
1. А.С. Вторушина, И.А. Ботыгин Распознавание рукописных цифр на
изображениях с использованием инструментов машинного обучения /
Молодежь и современные информационные технологии: сборник трудов XVII
Международной научно-практической конференции студентов, аспирантов и
молодых ученых (Томск, 17–20 февраля 2020 г.) / Томский политехнический
университет. – Томск: Изд-во Томского политехнического университета, 2020.
– 458 с.
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
4.8 (105 отзывов)
5 (18 отзывов)
5 (8 отзывов)
4.5 (9 отзывов)
4.5 (80 отзывов)
4.2 (13 отзывов)
5 (91 отзыв)
4.9 (35 отзывов)
4.2 (25 отзывов)
