Техническое зрение для системы управления сортировочного робота

Разработка системы управления сортировочным роботом с применением технологии компьютерного зрения, способной без участия человек осуществлять сортировку изделий на конвейерной линии по заданным заранее признакам.

ВВЕДЕНИЕ …………………………………………………………………………………………………………………. 14
1. АКТУАЛЬНОСТЬ ИСПОЛЬЗОВАНИЯ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ В
ПРОМЫШЛЕННЫХ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ ………………………………… 16
1.1 Основные функциональные аспекты технического зрения ……………………………….. 16
1.2 Примеры использования технического зрения в различных отраслях ………………. 17
1.2.1 Автоматизация сортировки и отбраковки ………………………………………………………. 18
1.2.2 Считывание и распознавание меток и маркировок …………………………………………. 19
2. ИНТЕГРАЦИЯ ТЕХНИЧЕСКОГО ЗРЕНИЯ В СИСТЕМУ УПРАВЛЕНИЯ
ПРОМЫШЛЕННЫМ РОБОТОМ …………………………………………………………………………………. 22
2.1 Готовые решения использования СТЗ в производстве ………………………………………….. 22
2.1.1 Стерео сенсор KUKA _3D Perception ……………………………………………………………… 22
2.1.2 FANUC система iRVision ………………………………………………………………………………. 23
2.2 Постановка задачи разработки системы технического зрения для промышленного
роботехнического комплекса …………………………………………………………………………………….. 24
2.3 Используемое оборудование ……………………………………………………………………………….. 27
2.4 Выбор инструментов программирования ……………………………………………………………… 30
2.4.1 Язык программирования Python …………………………………………………………………….. 30
2.4.2 Библиотека OpenCV ………………………………………………………………………………………. 31
3 ГЕОМЕТРИЧЕСКИЕ ПАРАМЕТРЫ КАМЕРЫ …………………………………………………………. 35
3.1 Справочные система координат …………………………………………………………………………… 35
3.1.1 Система координат пикселей …………………………………………………………………………. 35
3.1.3 Система координат камеры ……………………………………………………………………………. 36
3.1.4 Однородные координаты ……………………………………………………………………………….. 37
3.1.5 Внешняя система координат ………………………………………………………………………….. 38
3.2 Размещение камер ……………………………………………………………………………………………….. 39
3.3 Калибровка камеры……………………………………………………………………………………………… 42
4.ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ ……………… 55
4.1 Цветовые пространства ……………………………………………………………………………………….. 55
4.2 Поиск объекта по цвету ……………………………………………………………………………………….. 56
4.3 Контурный анализ……………………………………………………………………………………………….. 62
4.4 Алгоритм работы программы и её реализация ……………………………………………………… 63
4.5 Преобразование координат изделия в координатную систему робота …………………… 66
4.6 Распознавание QR кода ……………………………………………………………………………………….. 68
4.7 Связь технического зрения и системы управления манипулятором ………………………. 71
5.СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ ……………………………………………………………………… 73
5.1 Техногенная безопасность ……………………………………………………………………………….. 74
5.1.1 Микроклимат ………………………………………………………………………………………………… 74
5.1.2 Естественная освещенность……………………………………………………………………………. 75
5.1.3 Уровень шума ……………………………………………………………………………………………….. 76
5.1.4 Уровень электромагнитных излучений …………………………………………………………… 77
5.1.5 Электробезопасность……………………………………………………………………………………… 78
5.2 Организационные мероприятия обеспечения безопасности ………………………………….. 81
5.2.1 Эргономические требования к рабочему месту ………………………………………………. 81
5.3 Пожарная безопасность ……………………………………………………………………………………….. 82
5.4 Особенности законодательного регулирования проектных решений ……………………… 84
6.ФИНАНСОВЫЙ МЕНЕДЖМЕНТ, РЕСУРСОЭФФЕКТИВНОСТЬ И
РЕСУРСОСБЕРЕЖЕНИЕ …………………………………………………………………………………………….. 86
6.1 Организация и планирование работ ……………………………………………………………………… 86
6.2 Продолжительность этапов работ…………………………………………………………………………. 88
6.3 Расчет сметы затрат на выполнение проекта …………………………………………………………. 93
6.3.1 Расчет затрат на материалы и покупные изделия …………………………………………….. 93
6.3.2 Расчет заработной платы ……………………………………………………………………………….. 95
6.3.3 Расчет затрат на электроэнергию ……………………………………………………………………. 96
6.3.4 Расчет затрат на социальный налог…………………………………………………………………. 97
6.3.5 Расчет амортизационных расходов …………………………………………………………………. 97
6.3.6 Расчет прочих (накладных) расходов ……………………………………………………………… 98
6.3.7 Расчет общей себестоимости разработки ………………………………………………………… 98
Заключение………………………………………………………………………………………………………………….. 99
Список использованной литературы …………………………………………………………………………… 100
Приложение А ……………………………………………………………………………………………………………. 104

В магистерской диссертации рассмотрены основы технического зрения
и проведено обоснование актуальности и целесообразности применения
данной технологии в промышленной робототехнике.
Проведен анализ готовых решений от мировых производителей
промышленной робототехники. Разработан алгоритм работы СТЗ. Суть этого
алгоритма заключается в том, что положение изделия на конвейерной ленте
определяется путем обработки изображения с видеокамеры, закрепленной над
рабочей областью. Определяются координаты положения объекта на
картинке, затем они приводятся к системе координат, связанной с базой
манипуляционного робота. Принцип определения координат изделия основан
на выделении из видеопотока, поступающего с камеры, точек,
соответствующих характерному цвету груза.Приниц сортировки основан на
определении цвета изделия и распозновании наклеенного на него QR кода.
В результате исследования была создана недорогостоящая и простая
система управления с использованием методов технического зрения,
способная находить изделие в пространстве и производить его классификацию
по определенно заданным признакам.

1. Борисов О.И., Громов В.С., Пыркин А.А., Методы управления
робототехническими приложениями. Учебное пособие. — СПб.: Университет
ИТМО, 2016. — 108 с.
2. Автоматизация сортировки и отбраковки [Электронный ресурс]. –
Режим доступа: http://www.mkoi.org/366/367/373/ (дата обращения 25.04.18)
3. Считывание и распознавание меток и маркировок [Электронный
ресурс]. – Режим доступа: http://www.mkoi.org/366/367/376/ (дата обращения
25.04.18)
4. KUKA _3D Perception sensor [Электронный ресурс]. – Режим доступа:
https://www.kuka.com/en-us/products/robotics-systems/robot-periphery/kuka-3d-
sensoren (дата обращения 29.04.18)
5. Техническое зрение FANUC iRVision [Электронный ресурс]. – Режим
доступа:http://www.robotosvarka.ru/tehnicheskoe-zrenie-fanuc-irvision(дата
обращения 29.04.18)
6. Техническое зрение роботов/’В. И. Мошкин, А. А. Петров, В. С.
Титов, Ю. Г. Якушенков; Под общ. ред. Ю. Г. Якушенкова. —М.:
Машиностроение, 1990. —272 с.: ил.
7. Borisov O.I., Gromov V.S., Pyrkin A.A., Bobtsov A.A., Nikolaev N.A.,
RoboticBoatSetupforControlResearchandEducation//
IFACPapersOnLine.2016, V. 49, N. 6, P. 256–261.
8. Borisov O.I., Gromov V.S., Pyrkin A.A., Vedyakov A.A., Petranevsky
I.V., Bobtsov A.A., Salikhov V.I., Manipulation Tasks in Robotics Education //
IFAC-PapersOnLine. 2016, V. 49, N. 6, P. 22–27.
9. Системы технического зрения (принципиальные основы, аппаратное
и математическое обеспечение) / А.Н. Писаревкий [и др.]; Под общ. ред.А.Н.
Писаревского, А.Ф. Чернявского. Л.: Машиностроение. (Ленингр.отд-ние),
1988. 424 с.: ил.
10.KR40PA[Электронныйресурс].-Режим
доступа:https://www.kuka.com/ru-ru/продукция-услуги/промышленная-
робототехника/промышленные-роботы/kr-40-pa (дата обращения 5.05.18)
11.KUKAKRC4[Электронныйресурс].-Режим
доступа:https://www.kuka.com/ru-ru/продукция-услуги/промышленная-
робототехника/ системы-управления-роботом/kr-c4 (дата обращения 5.05.18)
12. LifeCam Cinema [Электронный ресурс]. – Режим доступа:
https://www.microsoft.com/accessories/ru-ru/products/webcams/lifecam-
cinema/h5d-00015 (дата обращения 5.05.18)
13.Python[Электронныйресурс].-Режимдоступа:
https://ru.wikipedia.org/wiki/Python (дата обращения 5.05.18)
14.OpenCV[Электронныйресурс].-Режимдоступа:
https://ru.wikipedia.org/wiki/OpenCV (дата обращения 5.05.18)
15. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision
// Cambridge University Press, 2004.
16. Roger Y. Tsai A versatile camera calibration technique for high-accuracy
3D machine vision metrology using off-the-shelf TV cameras and lenses // IEEE
Journal of Robotics and Automation, RA-3(4), 1987. – P. 323–344.
17. Zhang B., Li Y. F. Automatic Calibration and Reconstruction for Active
Vision Systems, Intelligent Systems, Control, and Automation // Science and
Engineering. V. 57, Springer, 2012. – P. 175.
18. Svoboda T., Martinec D., Pajdla T. A convenient multicamera self-
calibration for virtual environments // PRESENCE: Teleoperators and Virtual
Environments 14, 4, 2005. – P. 407-422.
19. Camera Calibration [Электронный ресурс].-
Режимдоступа:https://docs.opencv.org/3.0-
beta/doc/py_tutorials/py_calib3d/py_calibration/py_calibration.html#calibration
(дата обращения 10.05.18)
20. Калибровка Kinect v2 с помощью OpenCV на Python
[Электронный ресурс].-Режим доступа: https://habr.com/post/272629/ (дата
обращения 15.05.18)
21. Компьютерное зрение. Лекция для Малого ШАДа Яндекса
[Электронныйресурс].-Режимдоступа:
https://habr.com/company/yandex/blog/203136/ (дата обращения 15.05.18)
22. OpenCV шаг за шагом. Поиск объекта по цвету – RGB
[Электронный ресурс].-Режим доступа:
http://robocraft.ru/blog/computervision/365.html (дата обращения 20.05.18)
23. OpenCV шаг за шагом. Нахождение контуров и операции с ними
[Электронный ресурс].-Режим доступа:
http://robocraft.ru/blog/computervision/640.html (дата обращения 20.05.18)
24. Математическое обеспечение промышленных роботов: учебно
методический комплекс для студентов специальности 1-5301 06
«Промышленные роботы и робототехнические комплексы»:в 2ч./А.Р.
Околов,Е.Р. Новичихина, Г.С. Свидерский – Минск: БНТУ, 2012 –
Ч1:Лабораторные работы – 80 с.
25. DENSO WAVE. (-). About QR.com [Электронный ресурс].-Режим
доступа http://www.qrcode.com/en/index.html (дата обращения 20.05.18)
26.Pyzbar[Электронныйресурс].-Режимдоступа
https://github.com/NaturalHistoryMuseum/pyzbar/tree/8e3e87da17ddd794842b2fc
bbe0dd86c692d7511 (дата обращения 20.05.18)
27.ДетектированиеQRCodeспомощьюсредствOpenCV
[Электронный ресурс] – Режим доступа: http://recog.ru/blog/barcode/3.html. –
(Дата обращения: 20.05.2018).
28. ISO/IEC 18 004 Information technology — Automatic identification and
data capture techniques — Bar code symbology — QR Code. — 122c.
29. ГОСТРИСО26000-2012Руководствопосоциальной
ответственности
30. СанПиН 2.2.4.548 – 96. Гигиенические требования к микроклимату
производственных помещений. М.: Минздрав России, 1997.
31. СП 52.13330.2016 Свод правил. Естественное и искусственное
освещение. Актуализированная редакция СНиП 23-05-95
32. СН 2.2.4/2.1.8.562 – 96. Шум на рабочих местах, в помещениях
жилых, общественных зданий и на территории застройки.
33. СанПиН 2.2.1/2.1.1.1278 – 03. Гигиенические требования к
естественному, искусственному и совмещённому освещению жилых и
общественных зданий. М.: Минздрав России, 2003.
34. ГОСТ Р 50377-92 (МЭК 950-86) Безопасность оборудования
информационнойтехнологии,включаяэлектрическоеконторское
оборудование.
35. СанПиН 2.2.2/2.4.1340 – 03. Санитарно-эпидемиологические
правила и нормативы«Гигиеническиетребованиякперсональным
электронно- вычислительным машинам и организации работы». – М.:
Госкомсанэпиднадзор, 2003.
36. Постановление Правительства РФ от 25.04.2012 N 390 (ред. От
30.12.2017)”Опротивопожарномрежиме”(вместес”Правилами
противопожарного режима в Российской Федерации”).
37. СП 12.13130.2009 Определение категорий помещений, зданий и
наружных установок по взрывопожарной и пожарной опасности.