Техническое зрение для системы управления сортировочного робота
Разработка системы управления сортировочным роботом с применением технологии компьютерного зрения, способной без участия человек осуществлять сортировку изделий на конвейерной линии по заданным заранее признакам.
ВВЕДЕНИЕ …………………………………………………………………………………………………………………. 14
1. АКТУАЛЬНОСТЬ ИСПОЛЬЗОВАНИЯ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ В
ПРОМЫШЛЕННЫХ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ ………………………………… 16
1.1 Основные функциональные аспекты технического зрения ……………………………….. 16
1.2 Примеры использования технического зрения в различных отраслях ………………. 17
1.2.1 Автоматизация сортировки и отбраковки ………………………………………………………. 18
1.2.2 Считывание и распознавание меток и маркировок …………………………………………. 19
2. ИНТЕГРАЦИЯ ТЕХНИЧЕСКОГО ЗРЕНИЯ В СИСТЕМУ УПРАВЛЕНИЯ
ПРОМЫШЛЕННЫМ РОБОТОМ …………………………………………………………………………………. 22
2.1 Готовые решения использования СТЗ в производстве ………………………………………….. 22
2.1.1 Стерео сенсор KUKA _3D Perception ……………………………………………………………… 22
2.1.2 FANUC система iRVision ………………………………………………………………………………. 23
2.2 Постановка задачи разработки системы технического зрения для промышленного
роботехнического комплекса …………………………………………………………………………………….. 24
2.3 Используемое оборудование ……………………………………………………………………………….. 27
2.4 Выбор инструментов программирования ……………………………………………………………… 30
2.4.1 Язык программирования Python …………………………………………………………………….. 30
2.4.2 Библиотека OpenCV ………………………………………………………………………………………. 31
3 ГЕОМЕТРИЧЕСКИЕ ПАРАМЕТРЫ КАМЕРЫ …………………………………………………………. 35
3.1 Справочные система координат …………………………………………………………………………… 35
3.1.1 Система координат пикселей …………………………………………………………………………. 35
3.1.3 Система координат камеры ……………………………………………………………………………. 36
3.1.4 Однородные координаты ……………………………………………………………………………….. 37
3.1.5 Внешняя система координат ………………………………………………………………………….. 38
3.2 Размещение камер ……………………………………………………………………………………………….. 39
3.3 Калибровка камеры……………………………………………………………………………………………… 42
4.ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ ……………… 55
4.1 Цветовые пространства ……………………………………………………………………………………….. 55
4.2 Поиск объекта по цвету ……………………………………………………………………………………….. 56
4.3 Контурный анализ……………………………………………………………………………………………….. 62
4.4 Алгоритм работы программы и её реализация ……………………………………………………… 63
4.5 Преобразование координат изделия в координатную систему робота …………………… 66
4.6 Распознавание QR кода ……………………………………………………………………………………….. 68
4.7 Связь технического зрения и системы управления манипулятором ………………………. 71
5.СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ ……………………………………………………………………… 73
5.1 Техногенная безопасность ……………………………………………………………………………….. 74
5.1.1 Микроклимат ………………………………………………………………………………………………… 74
5.1.2 Естественная освещенность……………………………………………………………………………. 75
5.1.3 Уровень шума ……………………………………………………………………………………………….. 76
5.1.4 Уровень электромагнитных излучений …………………………………………………………… 77
5.1.5 Электробезопасность……………………………………………………………………………………… 78
5.2 Организационные мероприятия обеспечения безопасности ………………………………….. 81
5.2.1 Эргономические требования к рабочему месту ………………………………………………. 81
5.3 Пожарная безопасность ……………………………………………………………………………………….. 82
5.4 Особенности законодательного регулирования проектных решений ……………………… 84
6.ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ …………………………………………………………………………………………….. 86
6.1 Организация и планирование работ ……………………………………………………………………… 86
6.2 Продолжительность этапов работ…………………………………………………………………………. 88
6.3 Расчет сметы затрат на выполнение проекта …………………………………………………………. 93
6.3.1 Расчет затрат на материалы и покупные изделия …………………………………………….. 93
6.3.2 Расчет заработной платы ……………………………………………………………………………….. 95
6.3.3 Расчет затрат на электроэнергию ……………………………………………………………………. 96
6.3.4 Расчет затрат на социальный налог…………………………………………………………………. 97
6.3.5 Расчет амортизационных расходов …………………………………………………………………. 97
6.3.6 Расчет прочих (накладных) расходов ……………………………………………………………… 98
6.3.7 Расчет общей себестоимости разработки ………………………………………………………… 98
Заключение………………………………………………………………………………………………………………….. 99
Список использованной литературы …………………………………………………………………………… 100
Приложение А ……………………………………………………………………………………………………………. 104
В современном мире широко распространено использование обработки
изображений для решения различных задач автоматического контроля,
управления и измерения.
Чтобы промышленные роботы и другие системы автоматизации
производства целенаправленно взаимодействовали с объектами и спокойно
двигались в пространстве, окружающем производственные линии, они
должны иметь возможность видеть и анализировать окружающую среду.
Это именно то, с чем компьютерные системы зрения могут помочь.
Машинное зрение включает в себя анализ визуальной информации для
дальнейшего принятия решений. Это помогает принять какое-либо действие в
отношении объекта, который находится в фокусе. Самый простой пример
использования технологии: проверка состояния продукта на конвейерной
ленте или перед отправкой посылки по почте.
Исторически алгоритмы машинного зрения внедрялись в небольшом
количестве в производство, так как это было очень затратно. Однако
стоимость, производительность и потребление энергии в электронных
системах, которые были достигнуты сегодня, проложили путь для широкого
распространения машинного зрения в различных отраслях. Конечно, их
реализация все еще сложна, но это уже стало намного проще – и дешевле, чем
когда-либо
В данной работе технология машинного зрения была внедрена в
систему управления сортировочным роботом.
Технология состоит в получении двумерного изображения изделия,
благодаря USB-камерам. Далее происходит компьютерная обработка
изображения и анализ, в ходе которой определяется: принадлежность объекта
тому или иному классу исходя из заданных признаков (форма, геометрические
размеры, наличие надписей, цвет, маркировок, и др.)
Задача сортировки похожа на задачу распознавания образов и
заключается в измерении координат и ориентации объектов. Объекты,
которые имеют относительно простую форму, в данном случае
прямоугольную, однозначно характеризуются контуром регистрируемого
изображения. Для решения задач оценки параметров и распознавания,
характеризующих ориентацию и координаты таких объектов, используют
алгоритмы, основанные на анализе контуров изображений.
Сейчас на рынке представлены решения на различных принципах
определения положения, например, на базе анализа структурированного света,
на основе времяпролетных принципов, стереоскопические решения с
выделением особых точек изображения. Но основной популярностью по-
прежнему пользуются классические решения на основе цифровых видеокамер,
так как они позволяют за небольшие вложения получить легко настраиваемый
вариант системы определения координат и класс объекта высокой
надежностью и простотой установки. [1]
1. АКТУАЛЬНОСТЬ ИСПОЛЬЗОВАНИЯ СИСТЕМ
ТЕХНИЧЕСКОГО ЗРЕНИЯ В ПРОМЫШЛЕННЫХ
РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ
В магистерской диссертации рассмотрены основы технического зрения
и проведено обоснование актуальности и целесообразности применения
данной технологии в промышленной робототехнике.
Проведен анализ готовых решений от мировых производителей
промышленной робототехники. Разработан алгоритм работы СТЗ. Суть этого
алгоритма заключается в том, что положение изделия на конвейерной ленте
определяется путем обработки изображения с видеокамеры, закрепленной над
рабочей областью. Определяются координаты положения объекта на
картинке, затем они приводятся к системе координат, связанной с базой
манипуляционного робота. Принцип определения координат изделия основан
на выделении из видеопотока, поступающего с камеры, точек,
соответствующих характерному цвету груза.Приниц сортировки основан на
определении цвета изделия и распозновании наклеенного на него QR кода.
В результате исследования была создана недорогостоящая и простая
система управления с использованием методов технического зрения,
способная находить изделие в пространстве и производить его классификацию
по определенно заданным признакам.
1. Борисов О.И., Громов В.С., Пыркин А.А., Методы управления
робототехническими приложениями. Учебное пособие. — СПб.: Университет
ИТМО, 2016. — 108 с.
2. Автоматизация сортировки и отбраковки [Электронный ресурс]. –
Режим доступа: http://www.mkoi.org/366/367/373/ (дата обращения 25.04.18)
3. Считывание и распознавание меток и маркировок [Электронный
ресурс]. – Режим доступа: http://www.mkoi.org/366/367/376/ (дата обращения
25.04.18)
4. KUKA _3D Perception sensor [Электронный ресурс]. – Режим доступа:
https://www.kuka.com/en-us/products/robotics-systems/robot-periphery/kuka-3d-
sensoren (дата обращения 29.04.18)
5. Техническое зрение FANUC iRVision [Электронный ресурс]. – Режим
доступа:http://www.robotosvarka.ru/tehnicheskoe-zrenie-fanuc-irvision(дата
обращения 29.04.18)
6. Техническое зрение роботов/’В. И. Мошкин, А. А. Петров, В. С.
Титов, Ю. Г. Якушенков; Под общ. ред. Ю. Г. Якушенкова. —М.:
Машиностроение, 1990. —272 с.: ил.
7. Borisov O.I., Gromov V.S., Pyrkin A.A., Bobtsov A.A., Nikolaev N.A.,
RoboticBoatSetupforControlResearchandEducation//
IFACPapersOnLine.2016, V. 49, N. 6, P. 256–261.
8. Borisov O.I., Gromov V.S., Pyrkin A.A., Vedyakov A.A., Petranevsky
I.V., Bobtsov A.A., Salikhov V.I., Manipulation Tasks in Robotics Education //
IFAC-PapersOnLine. 2016, V. 49, N. 6, P. 22–27.
9. Системы технического зрения (принципиальные основы, аппаратное
и математическое обеспечение) / А.Н. Писаревкий [и др.]; Под общ. ред.А.Н.
Писаревского, А.Ф. Чернявского. Л.: Машиностроение. (Ленингр.отд-ние),
1988. 424 с.: ил.
10.KR40PA[Электронныйресурс].-Режим
доступа:https://www.kuka.com/ru-ru/продукция-услуги/промышленная-
робототехника/промышленные-роботы/kr-40-pa (дата обращения 5.05.18)
11.KUKAKRC4[Электронныйресурс].-Режим
доступа:https://www.kuka.com/ru-ru/продукция-услуги/промышленная-
робототехника/ системы-управления-роботом/kr-c4 (дата обращения 5.05.18)
12. LifeCam Cinema [Электронный ресурс]. – Режим доступа:
https://www.microsoft.com/accessories/ru-ru/products/webcams/lifecam-
cinema/h5d-00015 (дата обращения 5.05.18)
13.Python[Электронныйресурс].-Режимдоступа:
https://ru.wikipedia.org/wiki/Python (дата обращения 5.05.18)
14.OpenCV[Электронныйресурс].-Режимдоступа:
https://ru.wikipedia.org/wiki/OpenCV (дата обращения 5.05.18)
15. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision
// Cambridge University Press, 2004.
16. Roger Y. Tsai A versatile camera calibration technique for high-accuracy
3D machine vision metrology using off-the-shelf TV cameras and lenses // IEEE
Journal of Robotics and Automation, RA-3(4), 1987. – P. 323–344.
17. Zhang B., Li Y. F. Automatic Calibration and Reconstruction for Active
Vision Systems, Intelligent Systems, Control, and Automation // Science and
Engineering. V. 57, Springer, 2012. – P. 175.
18. Svoboda T., Martinec D., Pajdla T. A convenient multicamera self-
calibration for virtual environments // PRESENCE: Teleoperators and Virtual
Environments 14, 4, 2005. – P. 407-422.
19. Camera Calibration [Электронный ресурс].-
Режимдоступа:https://docs.opencv.org/3.0-
beta/doc/py_tutorials/py_calib3d/py_calibration/py_calibration.html#calibration
(дата обращения 10.05.18)
20. Калибровка Kinect v2 с помощью OpenCV на Python
[Электронный ресурс].-Режим доступа: https://habr.com/post/272629/ (дата
обращения 15.05.18)
21. Компьютерное зрение. Лекция для Малого ШАДа Яндекса
[Электронныйресурс].-Режимдоступа:
https://habr.com/company/yandex/blog/203136/ (дата обращения 15.05.18)
22. OpenCV шаг за шагом. Поиск объекта по цвету – RGB
[Электронный ресурс].-Режим доступа:
http://robocraft.ru/blog/computervision/365.html (дата обращения 20.05.18)
23. OpenCV шаг за шагом. Нахождение контуров и операции с ними
[Электронный ресурс].-Режим доступа:
http://robocraft.ru/blog/computervision/640.html (дата обращения 20.05.18)
24. Математическое обеспечение промышленных роботов: учебно
методический комплекс для студентов специальности 1-5301 06
«Промышленные роботы и робототехнические комплексы»:в 2ч./А.Р.
Околов,Е.Р. Новичихина, Г.С. Свидерский – Минск: БНТУ, 2012 –
Ч1:Лабораторные работы – 80 с.
25. DENSO WAVE. (-). About QR.com [Электронный ресурс].-Режим
доступа http://www.qrcode.com/en/index.html (дата обращения 20.05.18)
26.Pyzbar[Электронныйресурс].-Режимдоступа
https://github.com/NaturalHistoryMuseum/pyzbar/tree/8e3e87da17ddd794842b2fc
bbe0dd86c692d7511 (дата обращения 20.05.18)
27.ДетектированиеQRCodeспомощьюсредствOpenCV
[Электронный ресурс] – Режим доступа: http://recog.ru/blog/barcode/3.html. –
(Дата обращения: 20.05.2018).
28. ISO/IEC 18 004 Information technology — Automatic identification and
data capture techniques — Bar code symbology — QR Code. — 122c.
29. ГОСТРИСО26000-2012Руководствопосоциальной
ответственности
30. СанПиН 2.2.4.548 – 96. Гигиенические требования к микроклимату
производственных помещений. М.: Минздрав России, 1997.
31. СП 52.13330.2016 Свод правил. Естественное и искусственное
освещение. Актуализированная редакция СНиП 23-05-95
32. СН 2.2.4/2.1.8.562 – 96. Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории застройки.
33. СанПиН 2.2.1/2.1.1.1278 – 03. Гигиенические требования к
естественному, искусственному и совмещённому освещению жилых и
общественных зданий. М.: Минздрав России, 2003.
34. ГОСТ Р 50377-92 (МЭК 950-86) Безопасность оборудования
информационнойтехнологии,включаяэлектрическоеконторское
оборудование.
35. СанПиН 2.2.2/2.4.1340 – 03. Санитарно-эпидемиологические
правила и нормативы«Гигиеническиетребованиякперсональным
электронно- вычислительным машинам и организации работы». – М.:
Госкомсанэпиднадзор, 2003.
36. Постановление Правительства РФ от 25.04.2012 N 390 (ред. От
30.12.2017)”Опротивопожарномрежиме”(вместес”Правилами
противопожарного режима в Российской Федерации”).
37. СП 12.13130.2009 Определение категорий помещений, зданий и
наружных установок по взрывопожарной и пожарной опасности.
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
4.9 (522 отзыва)
4.8 (40 отзывов)
4.2 (25 отзывов)
5 (158 отзывов)
5 (145 отзывов)
4.7 (96 отзывов)
4.1 (20 отзывов)
4.8 (2878 отзывов)
5 (154 отзыва)
