Разработка библиотеки нейросетевого распознавания рукописных символов на машинопечатаемых бланках

Объектом исследования являются алгоритмы распознавания рукописных символов на изображении. Цель работы – разработка алгоритмов и библиотеки распознавания машиночитаемых бланков на основе сверточных нейронных сетей. Реализованная библиотека используется в модуле верификации системы для проведения диагностических работ ЕГЭ в РЦОИ Томской области.

ВВЕДЕНИЕ…………………………………………………………………………………… 18

1 СУЩЕСТВУЮЩИЙ БИЗНЕС-ПРОЦЕСС ………………………………. 20

2 ШАБЛОНИЗАЦИЯ БЛАНКОВ ……………………………………………….. 26

3 ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ РАСПОЗНАВАНИЯ … 28

3.1 Искусственные нейронные сети …………………………………………. 28

3.1.1 Сверточные нейронные сети ………………………………………… 33

4 РЕАЛИЗАЦИЯ МЕТОДОВ РАСПОЗНАВАНИЯ НА ОСНОВЕ
СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ ……………………………………………………….. 38

4.1 Подготовка обучающей выборки ……………………………………….. 38

4.1.1 Метод эластичных искажений………………………………………. 39

4.2 Обучение нейронной сети ………………………………………………….. 43

4.2.1 Подбор архитектуры нейронной сети для распознавания
букв 47

4.2.2 Подбор архитектуры нейронной сети для распознавания
цифр, минусов и запятых…………………………………………………………………… 49

4.3 Результаты обучения …………………………………………………………. 51

4.4 Реализация программной части ………………………………………….. 54

5 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ
И РЕСУРСОСБЕРЕЖЕНИЕ ……………………………………………………………………… 56

5.1 Организация и планирование ОКР (НИР) работ …………………. 56

5.1.1 Определение продолжительности этапов работ …………….. 57

5.2 Расчет затрат на выполнение проекта…………………………………. 59

5.2.1 Расчет основной заработной платы ………………………………. 59
5.2.2 Расчет затрат на социальный налог ………………………………. 60

5.2.3 Расчет затрат на электроэнергию ………………………………….. 60

5.2.4 Расчет амортизационных расходов ……………………………….. 61

5.2.5 Расчет прочих расходов ……………………………………………….. 62

5.2.6 Расчет общей себестоимости проекта …………………………… 62

5.2.7 Расчет прибыли ……………………………………………………………. 63

5.2.8 Расчет НДС ………………………………………………………………….. 63

5.2.9 Цена разработки НИР …………………………………………………… 63

5.3 Оценка экономической эффективности проекта …………………. 63

5.3.1 Определение срока окупаемости инвестиций (PP – payback
period) 64

6 СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ …………………………………… 70

6.1 Правовые и организационные вопросы обеспечения
безопасности ………………………………………………………………………………………… 71

6.1.1 Правовые нормы трудового законодательства для рабочей
зоны оператора ПЭВМ ……………………………………………………………………… 71

6.1.2 Влияние разработанного программного обеспечения на
рабочий процесс ……………………………………………………………………………….. 74

6.2 Производственная безопасность ………………………………………… 75

6.2.1 Вредные производственные факторы ……………………………. 77

6.2.2 Опасные производственные факторы……………………………. 84

6.3 Экологическая безопасность ……………………………………………… 85

6.4 Безопасность в чрезвычайных ситуациях …………………………… 86

6.5 Выводы по разделу ……………………………………………………………. 89

ЗАКЛЮЧЕНИЕ …………………………………………………………………………….. 90
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ ………………………………. 91

Приложение А ………………………………………………………………………………. 96

Overview of existing recognition methods ……………………………………… 97

Artifical neural networks ………………………………………………………….. 97

Implementation of recognition methods based on the convolutional
neural network ……………………………………………………………………………………… 104

Training sample preparation ……………………………………………………. 104

Приложение Б ……………………………………………………………………………… 109

Приложение В …………………………………………………………………………….. 111

Приложение Г ……………………………………………………………………………… 113

Приложение Д …………………………………………………………………………….. 115

В ходе выполнения работы был изучен существующий в копании
бизнес-процесс, актуальная проблема автоматического распознавания
рукописных символов, требующая решения, и архитектура информационной
системы, решающая данную проблему на текущий момент.
В результате проделанной работы было описано решение задачи
шаблонизации бланков. Также был предложен и реализован алгоритм
распознавания бланков на основе сверточных нейронных сетей. Были
проведены эксперименты по подбору архитектур сверточных нейронных
сетей.
Наилучший результат распознавания для символов русского алфавита
показала сеть, имеющая следующую конфигурацию:
Номер сверточного слоя Размер ядра свертки Количество карт признаков
1 5×5 25
2 3×3 50
3 7×7 100
4 3×3 200
Наилучший результат распознавания цифр, минусов и запятых
показала сеть, имеющая следующую конфигурацию:
Номер сверточного слоя Размер ядра свертки Количество карт признаков
1 5×5 25
2 3×3 50
3 3×3 100
4 5×5 200
В вышеперечисленных сетях подвыборочном слое использовалась
операция MaxPooling с размером окна и шагом 2.
По результатам сравнения результатов распознавания с программой
Abbyy FormReader разработанная программа лучше справляется с
распознаванием ответов, содержащих цифры, минусы и запятые, однако
хуже справляется с ответами, содержащими символы русского алфавита.