Система виденья для людей с нарушением зрения

ВВЕДЕНИЕ …………………………………………………………………………………………………. 13
1 Анализ предметной области ……………………………………………………………………… 15
1.1 Навигация…………………………………………………………………………………………… 15
1.1.1 Глобальное позиционирование……………………………………………………… 16
1.1.2 Wi-Fi Positioning System ……………………………………………………………….. 16
1.1.3 Bluetooth Beacon …………………………………………………………………………… 17
1.1.4 Инерционные навигационные системы …………………………………………. 18
1.1.5 Система технического зрения ……………………………………………………….. 19
1.1.6 Вывод по навигации …………………………………………………………………….. 20
1.2 Распознавание изображений ……………………………………………………………….. 21
1.3 Аудио информирование ……………………………………………………………………… 21
1.4 Тактильные технологии ………………………………………………………………………. 23
1.5 Гибкая электроника…………………………………………………………………………….. 24
2 Практическая часть …………………………………………………………………………………… 28
2.1 Анализ интервью ………………………………………………………………………………… 28
2.2 Существующие решения …………………………………………………………………….. 30
2.3 Проектирование структурной схемы устройства …………………………………. 34
2.3.1 Пользовательский интерфейс ……………………………………………………….. 34
2.3.2 Система технического зрения ……………………………………………………….. 35
2.3.3 Распознавание сцены ……………………………………………………………………. 36
2.3.4 Навигация…………………………………………………………………………………….. 36
2.3.5 Устройство обработки данных ……………………………………………………… 37
2.3.6 Деление информации на два канала………………………………………………. 37
2.3.7 Тактильный канал ………………………………………………………………………… 39
2.3.8 Аудиоканал ………………………………………………………………………………….. 40
2.3.9 Структурная схема устройства ……………………………………………………… 40
2.4 Поиск номера маршрута ……………………………………………………………………… 41
2.4.1 Создание набора данных ………………………………………………………………. 42
2.4.2 Аннотация данных ……………………………………………………………………….. 43
2.4.3 Обучение собственного детектора ………………………………………………… 44
3 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение ……. 50
4 Социальная ответственность …………………………………………………………………….. 65
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 79
Список публикаций студента ……………………………………………………………………….. 80
СПИСОК ИСТОЧНИКОВ ……………………………………………………………………………. 81
Приложение А (обязательное) Приложение на английском языке ………………… 86
Приложение Б (справочное) Интервью с незрячим человеком ……………………… 96

Результатами магистерской диссертации является спроектированная
структурная схема устройства, на основе изученных статей, патентов и
решений по темам электротактильной стимуляции и навигации людей с
нарушением зрения. В качестве основы для поставленной цели и задач стало
интервью с незрячим человеком, который описал основные трудности людей с
нарушением зрения. Спроектированное устройство позволит снизить
когнитивную нагрузку на аудиоканал пользователя и обеспечить его
структурированной информацией об окружении. Результаты анализа
технологий для данного устройства позволяют утверждать реализуемость
предложенного устройства. По результатам работы была написана заявка на
изобретение устройства и способа.
Результатами исследования задачи поиска локальных объектов стал
обученный детектор на основе нейронной сети YOLOv4. В связи с
актуальностью проблемы поиска необходимого автобуса, озвученной незрячим
человеком, в данной работе была выбрана задача поиска номеров маршрутов
автобусов. В процессе работы был собран и размечен набор данных из 2110
изображений с 9091 аннотацией. В качестве классов были выбраны следующие
объекты: автобус, номер маршрута, закрытая дверь, открытая дверь и
тактильная табличка. Результаты показали, что детектор способен безошибочно
распознавать объекты на средней дистанции (около 10 метров). Для решения
проблемы с ложным детектированием необходимо в последующем провести
расширение набора данных по полученным результатам для увеличения
разнообразия изображений имеющих шумовые эффекты и искажения.
Результаты на данном этапе показали реализуемость задачи поиска локальных
объектов. Ее можно осуществлять с использованием готовых сетей при
наличии собранного и размеченного набора данных.
Список публикаций студента
Публикации по тематике магистерской диссертации:

1. Паксеев И.Н., Андраханов А.А., Тырышкин А.В. Система
тактильного видения для незрячих людей. Молодежь и современные
информационные технологии: сборник трудов XVIII Международной научно-
практической конференции студентов, аспирантов и молодых ученых (Томск,
22–26 марта 2021 г.) / Томский политехнический университет. – Томск: Изд-во
Томского политехнического университета, 2021.