Система виденья для людей с нарушением зрения
Объектом исследования является устройство для навигации людей с нарушением зрения до локальных целевых объектов окружающего пространства. Целью работы стоит проектирование устройства навигации для незрячих людей.
Работа имеет социальную значимость.
В результате работы спроектирована структурная схема устройства, а проведенное исследование показывает реализуемость данного предложения.
ВВЕДЕНИЕ …………………………………………………………………………………………………. 13
1 Анализ предметной области ……………………………………………………………………… 15
1.1 Навигация…………………………………………………………………………………………… 15
1.1.1 Глобальное позиционирование……………………………………………………… 16
1.1.2 Wi-Fi Positioning System ……………………………………………………………….. 16
1.1.3 Bluetooth Beacon …………………………………………………………………………… 17
1.1.4 Инерционные навигационные системы …………………………………………. 18
1.1.5 Система технического зрения ……………………………………………………….. 19
1.1.6 Вывод по навигации …………………………………………………………………….. 20
1.2 Распознавание изображений ……………………………………………………………….. 21
1.3 Аудио информирование ……………………………………………………………………… 21
1.4 Тактильные технологии ………………………………………………………………………. 23
1.5 Гибкая электроника…………………………………………………………………………….. 24
2 Практическая часть …………………………………………………………………………………… 28
2.1 Анализ интервью ………………………………………………………………………………… 28
2.2 Существующие решения …………………………………………………………………….. 30
2.3 Проектирование структурной схемы устройства …………………………………. 34
2.3.1 Пользовательский интерфейс ……………………………………………………….. 34
2.3.2 Система технического зрения ……………………………………………………….. 35
2.3.3 Распознавание сцены ……………………………………………………………………. 36
2.3.4 Навигация…………………………………………………………………………………….. 36
2.3.5 Устройство обработки данных ……………………………………………………… 37
2.3.6 Деление информации на два канала………………………………………………. 37
2.3.7 Тактильный канал ………………………………………………………………………… 39
2.3.8 Аудиоканал ………………………………………………………………………………….. 40
2.3.9 Структурная схема устройства ……………………………………………………… 40
2.4 Поиск номера маршрута ……………………………………………………………………… 41
2.4.1 Создание набора данных ………………………………………………………………. 42
2.4.2 Аннотация данных ……………………………………………………………………….. 43
2.4.3 Обучение собственного детектора ………………………………………………… 44
3 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение ……. 50
4 Социальная ответственность …………………………………………………………………….. 65
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 79
Список публикаций студента ……………………………………………………………………….. 80
СПИСОК ИСТОЧНИКОВ ……………………………………………………………………………. 81
Приложение А (обязательное) Приложение на английском языке ………………… 86
Приложение Б (справочное) Интервью с незрячим человеком ……………………… 96
По оценкам, в 2020 году в России порядка 31 миллиона человек имеют
проблемы со зрением, а 550 тысяч слепы [1]. Отсутствие зрения у людей влечет
за собой низкую мобильность у этой группы населения. Для них становится
проблематично добираться из одной точки города в другую, делать
повседневные вещи, которые для зрячих не представляют затруднений. В связи
с этим, в последнее время наблюдается рост внимания к проблемам людей с
нарушением зрения.
В России с 2011 года реализуется программа «Доступная среда». В
рамках программы жизненно важные учреждения (больницы, университеты,
органы власти т.п.) должны быть оборудованы средствами для возможного
равного использования их услуг людьми с различными заболеваниями, в
первую очередь, это люди на инвалидных креслах и остальные маломобильные
группы.
За последние пять лет стало появляться больше работ и проектов,
призванных облегчить жизнь слепых и слабовидящих людей. В связи с
наличием почти у каждого человека смартфона, стало возможным предложить
людям приложения, которые позволяют распознавать объекты, описывать то,
что находится на изображении, осуществлять навигацию. Рынок устройств
также увеличился. Появились навигаторы способные прокладывать маршрут,
учитывая окружающее пространство человека. Все это стало доступным,
благодаря развитию технологий, появлению новых датчиков, удешевлению и
уменьшению габаритов старых.
Однако, до сих пор существующие решения не позволяют обеспечить
достаточно комфортное и безопасное передвижение пользователей. Так,
основным способом для осуществления навигации человека является голосовое
информирование о направлении движения. Сообщение пользователю подсказок
и указаний к действиям сопряжено с нагрузкой на аудиоканал, что влечет за
собой увеличение когнитивной нагрузки и отвлечение от звуков окружающего
пространства. По заявлению людей с нарушением зрения, им важно слышать
окружение, это позволяет ориентироваться в пространстве и понимать где они
находятся.
В данной дипломной работе исследуется устройство локальной
навигации для людей с нарушением зрения. Рассматриваются существующие
технические решения, патенты и статьи. Выявлены основные недостатки,
которые решаются спроектированным устройством. Проведено исследование в
рамках задачи распознавания номеров маршрутов автобусов и сформулированы
рекомендации к набору данных для обучения нейронных сетей. Написана
заявка на изобретение способа и устройства.
1 Анализ предметной области
Незрячим людям довольно сложно передвигаться в городской среде в
силу отсутствия информации об окружении. Поэтому они пользуются
различными устройствами и программами помимо белой трости,
позволяющими им ориентироваться в пространстве, находить вещи и узнавать
информацию об окружающей среде. Основными технологиями в устройствах
для незрячих людей являются:
− Навигация,
− Распознавание изображений и обработка данных,
− Аудио контакт с пользователем,
− Тактильные технологии.
Рассмотрим работы и решения из данной области.
Результатами магистерской диссертации является спроектированная
структурная схема устройства, на основе изученных статей, патентов и
решений по темам электротактильной стимуляции и навигации людей с
нарушением зрения. В качестве основы для поставленной цели и задач стало
интервью с незрячим человеком, который описал основные трудности людей с
нарушением зрения. Спроектированное устройство позволит снизить
когнитивную нагрузку на аудиоканал пользователя и обеспечить его
структурированной информацией об окружении. Результаты анализа
технологий для данного устройства позволяют утверждать реализуемость
предложенного устройства. По результатам работы была написана заявка на
изобретение устройства и способа.
Результатами исследования задачи поиска локальных объектов стал
обученный детектор на основе нейронной сети YOLOv4. В связи с
актуальностью проблемы поиска необходимого автобуса, озвученной незрячим
человеком, в данной работе была выбрана задача поиска номеров маршрутов
автобусов. В процессе работы был собран и размечен набор данных из 2110
изображений с 9091 аннотацией. В качестве классов были выбраны следующие
объекты: автобус, номер маршрута, закрытая дверь, открытая дверь и
тактильная табличка. Результаты показали, что детектор способен безошибочно
распознавать объекты на средней дистанции (около 10 метров). Для решения
проблемы с ложным детектированием необходимо в последующем провести
расширение набора данных по полученным результатам для увеличения
разнообразия изображений имеющих шумовые эффекты и искажения.
Результаты на данном этапе показали реализуемость задачи поиска локальных
объектов. Ее можно осуществлять с использованием готовых сетей при
наличии собранного и размеченного набора данных.
Список публикаций студента
Публикации по тематике магистерской диссертации:
1. Паксеев И.Н., Андраханов А.А., Тырышкин А.В. Система
тактильного видения для незрячих людей. Молодежь и современные
информационные технологии: сборник трудов XVIII Международной научно-
практической конференции студентов, аспирантов и молодых ученых (Томск,
22–26 марта 2021 г.) / Томский политехнический университет. – Томск: Изд-во
Томского политехнического университета, 2021.
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
4.6 (71 отзыв)
5 (14 отзывов)
4.8 (211 отзывов)
5 (188 отзывов)
5 (44 отзыва)
5 (9 отзывов)
4 (15 отзывов)
5 (154 отзыва)
4.5 (80 отзывов)
