Разработка оболочечной структуры аппаратно-программного комплекса беспилотного воздушного судна (БВС) для мониторинга морских акваторий
Оглавление
Введение
1 Анализ причин образования сликов на морской поверхности и способы мониторинга сликов
1.1 Слики естественного происхождения
1.2 Слики, вызванные тонкими пленками нефтепродуктов на морской поверхности и антропогенными влияниями
1.3 Обзор методов мониторинга сликов на морской поверхности
1.3.1 Метод визуального контроля сликов с использованием беспилотных и пилотируемых летательных аппаратов
1.3.2 Метод мониторинга нефтесодержащих сликов по цветовым кодам
1.3.3 Метод спектрального анализа флуоресценции нефтепродуктов на поверхности воды с использованием дрона
1.3.4 Метод измерения толщины тонких пленок нефти на водной поверхности по второй производной коэффициента отражения
1.3.5 Метод регистрации спектра в инфракрасном диапазоне длин волн
1.3.6 Метод получения изображения сликов с использованием радара с синтезированной апертурой
Выводы по первой главе
2 Методические основы мониторинга сликов и приповерхностного слоя морской воды с использованием БВС
2.1 Разработка метода лазерной индуцированной флуоресценции для определения сорта нефтепродуктов и измерения объемов нефтепродуктов, содержащихся в тонких пленках на поверхности и в растворенном состоянии в приповерхностном слое воды
3
2.2 Элементы искусственного интеллекта лазерной спектроскопии
2.3 Разработка компьютерного зрения для мониторинга нефтяных плёнок на морской поверхности
2.4 Разработка метода взаимодействия блока навигации и управления движением с полетным контроллером БВС
Выводы по второй главе
3. Структура аппаратно-программной оболочки мониторинга нефтепродуктов, содержащихся в пленках и в растворенном состоянии
3.1 Концепция разработки аппаратно-программной оболочки мониторинга нефтяных загрязнений с использованием беспилотных воздушных судов…………64
3.2 Интегральная аппаратно-программная оболочка мониторинга нефтяных загрязнений на поверхности воды
3.3 Аппаратно-программная оболочка лазерной индуцированной флуоресценции
3.4 Аппаратно-программная подоболочка пассивного мониторинга тонких пленок на морской поверхности
3.5 Аппаратно-программная подоболочка навигации и управления движением беспилотного воздушного судна
Выводы по третьей главе
4. Концептуальный проект малогабаритного беспилотного летательного аппарата
4.1. Общие положения
4.2 Концепт винтомоторной группы
4.3 Концепт рамы БВС
4.4 Система управления полетом
4.4.1 Конфигурация GPS/GLONASS-приемника
4.4.2 Система автономной посадки на движущийся объект (судно)…………………..90
4.4.2.1 Аппаратная часть автономной посадки
4.4.2.2 Видеосенсор……………………………………………………………………………………….93
4.4.2.3 Активная посадочная метка…………………………………………………………………94
4.4.2.4. Объектив видеосенсора
4.5 Концептуальная схема активного спектрометра для ЛИФ-метода на БВС
4.6 Изготовление прототипа БВС
Выводы по четвертой главе
5. Натурные испытания элементов аппаратно-программной оболочки БВС для мониторинга морских акваторий
5.1 Алгоритм работы комплекса
5.2 Натурные испытания элементов автономной посадки БВС на движущийся объект
5.3. Натурные испытания аппаратно-программной подоболочки детектирования и классификации сликов
5.4 Натурные испытания разработанного дрона в режиме посадки на воду
Выводы по пятой главе
Заключение
Список литературы
Во введении обоснована актуальность темы диссертационной работы, определены цель и задачи исследования, сформулированы научная новизна и практическая значимость работы, изложена краткая структура диссертации, приведены положения, выносимые на защиту.
В первой главе выполнен обзор существующих средств мониторинга морской поверхности на предмет антропогенных влияний и проведен анализ происхождения естественных поверхностных явлений. С этой целью выполнен анализ происхождения пятен, проведен анализ средств и методов мониторинга нефтяных пятен на морской поверхности. В результате сделан вывод о том, что существуют пятна нефтепродуктов, которые при определенных условиях наблюдения внешне не отличаются от пятен естественного происхождения, а
аппаратура, которая сегодня существует, не позволяет производить качественную их идентификацию. Возможности спутниковых методов и методов авиазондирования не могут обеспечить регулярные исследования динамики и структуры сликов локальных масштабов в силу их не оперативности, высокой стоимости или пространственного разрешения. Проводится анализ возможностей использования БВС для решения этой задачи. В п.1.3.2 проводится анализ существующей методики мониторинга нефтесодержащих сликов по цветовым кодам. Методика анализируется с точки зрения возможности её использования для разработки элемента искусственного интеллекта с целью сегментации и классификации тонких плёнок нефтепродуктов на морской поверхности. В п. 1.3.2 рассматривается метод спектрального анализа флуоресценции нефтепродуктов, которые находятся на поверхности воды в виде плёнки или в виде раствора под морской поверхностью. Метод ЛИФ анализируется с точки зрения возможности его использования на БВС. В п.п. 1.3.4–1.3.6 проводится анализ и других методов регистрации сликов и измерения толщины нефтяных плёнок. В качестве примера рассматриваются методы, основанные на анализе изображений нефтяных плёнок в ИК-области оптического спектра, метод измерения толщины тонких пленок нефти на водной поверхности по второй производной коэффициента отражения оптического излучения от морской поверхности, метод получения изображения сликов с использованием радара с синтезированной апертурой. В конце главы делается вывод о перспективах использования предложенных для разработки в диссертационной работе методов мониторинга сликов, основанных на оболочечной структуре аппаратно-программного комплекса мониторинга, и их эффективности для БВС.
Во второй главе описываются методические основы мониторинга сликов и приповерхностного слоя морской воды с использованием БВС. В п. 2.1 проводится описание лабораторных экспериментов, направленных на разработку метода лазерной индуцированной флуоресценции для определения сорта и измерения объемов нефтепродуктов, содержащихся в тонких пленках и растворенном состоянии в приповерхностном слое воды. Описаны результаты исследования спектров ЛИФ наиболее используемых сортов судового топлива. На рис. 1 приведены спектры ЛИФ от лёгких нефтепродуктов, к которым относится судовое топливо типа DMA, DMZ, дизельное топливо и керосин, – они соответствуют левой шкале. Значения интенсивности более тяжёлых сортов топлива типа RMB30, RME180, RMG380 и чистой нефти приведены на правой шкале.
Рисунок 1 – Спектры индуцированной флуоресценции чистых сортов исследуемых нефтепродуктов
На примере спектров ЛИФ от судового топлива DMA продемонстрирована процедура создания последовательности данных Data set для обучения нейронной сети. Пример последовательности спектров индуцированной флуоресценции, которые использовались для организации Data set в процедуре обучения распознавания одного из лёгких сортов топлива DMA, приведен на рисунке 2. Сформированная из признаковых описаний матрица данных использовалась для обучения метода Linear Support Vector Classification (Linear SVC). В результате полученная модель может использоваться для классификации спектров 8 сортов тяжёлых и лёгких типов растворов судового топлива и сырой нефти.
Рисунок 2 – Последовательности спектров, полученные экспериментально для значений 5 концентраций растворов DMA в морской воде
Метод ЛИФ был разработан для измерения концентрации растворённых сортов судового топлива в морской воде. Были проведены калибровки метода на
стандартный, сертифицированный метод ИК-Фурье спектроскопии и определены пределы детектирования метода для различных видов судового топлива. На основании полученных спектральных характеристик был разработан метод определения концентрации растворенных нефтепродуктов в морской воде. Данный метод заключался в следующем: в качестве определяемого на основании полученных спектральных характеристик параметра использовать интегральную характеристику спектров флуоресценции в диапазоне 300-525 нм:
, (1)
где ( ) – спектральная интенсивность сигнала флуоресценции растворенного нефтепродукта; 0( ) – спектральная интенсивность сигнала флуоресценции чистой морской воды.
Далее на основе полученных интегральных параметров производилось построение аппроксимирующих калибровочных кривых, у которых определялся коэффициент наклона кривой S. Непосредственно пределы обнаружимых концентраций (LoD) рассчитывались по формуле:
LoD = 3σn/S, (2)
где σ – стандартное отклонение фонового сигнала, принятого за сигнал флуоресценции чистой морской воды.
В результате были получены калибровочные кривые для определения концентрации растворённых в морской воде нефтепродуктов. Пример калибровочной зависимости для топлива DMA представлен на рис.3.
Рисунок 3 – Калибровочная зависимость для растворов судового топлива DMA
На основании полученных калибровочных зависимостей были посчитаны пределы обнаружения LoD для исследуемых образцов нефтепродуктов. Данные значения представлены в таблице 1.
Таблица 1 – Пределы обнаружения LoD для исследуемых образцов нефтепродуктов
No 1 2 3 4 5 6 7 8
Тип нефтепродукта DMA
DMZ
RMB 30 RME 180 RMG380 Дизельное топливо Сырая нефть Керосин
LoD (ppm) 0.1
1.1
0.3
0.2
0.1
0.7
0.1
2.4
Далее в параграфе описываются результаты исследования особенности динамики спектров флуоресценции растворенных нефтепродуктов в морской воде. В п. 2.2 описан принцип работы элемента искусственного интеллекта (ИИ) лазерной спектроскопии подоболочки HSSFW2. Элементы ИИ для распознавания различных сортов нефтепродуктов по виду спектрального распределения ЛИФ разрабатывались для двух вариантов спектров: со спектрами ЛИФ от растворённых в воде нефтепродуктов и спектров, соответствующих плёнкам нефтепродуктов. Эти элементы были проверены только на результатах лабораторных исследований. П. 2.3 посвящён описанию разработки компьютерного зрения для мониторинга нефтяных плёнок на морской поверхности. Описывается элемент ИИ, который позволяет автоматически идентифицировать нефтяное пятно на морской поверхностипоизображениямсвидеокамеры.При создании этого программного компонента был использован язык программирования Python. Для работы с изображениями была использована библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом OpenCV. В качестве системы с компонентом объектной детекции была выбрана нейросетевая архитектура YOLOv3-tiny,имплементированная с помощью библиотеки Keras с фрэймворком TensorFlow. Данная архитектура может быть использована на малопроизводительных микрокомпьютерах таких как Raspberry Pi 3, которые вполне подходят для использования на МБВС. С помощью методов Deep learning, компонент был обучен на анализ изображений и обнаружение нефтяных разливов на водной поверхности. На рисунке 4 приведен фрагмент
работы элемента ИИ по распознаванию нефтяного пятна. Элемент ИИ выдаёт вероятность того, что зарегистрированное пятно является плёнкой, образованной нефтепродуктами. Величина вероятности для двух плёнок показана на изображениях. В данном случае она составляет 0.9 и 0.8 соответственно, что интерпретируется ИИ как плёнки нефтепродуктов. В процессе обучения использовался критерий детектирования, согласно которому фиксация плёнки на морской поверхности происходит при значении вероятности, равной 0.65.
Рисунок 4 – Детектирование нефтяных пятен с использованием элемента ИИ дрона
П. 2.4 посвящён описанию метода взаимодействия блока навигации и управления движением с полетным контроллером БВС.
Описываются физические и программные элементы автономной навигации и управления полетом, в основе которых лежит программная платформа ROS (Robot OperatingSystem, www.ros.org), она взаимодействует с полетным контроллером с установленной на него прошивкой PX4 по протоколу MAVLink при помощи пакета MAVROS.
Аппаратно такая программная схема реализована с использованием дополнительно установленного на дрон микрокомпьютера производителя NVIDIA модели Jetson Nano, соединённого по аппаратному порту UART с полетным контроллером Pixhawk Cube. На микрокомпьютере был организован удаленный
доступ по сети Wi-Fi с ноутбуком, находящимся на земле и используемым в качестве наземной станции для отправки команд на дрон.
Основной из задач автономной навигации, отрабатываемой в эксперименте, являлось создание методов, которые позволяют производить посадку коптера на платформу, перемещающуюся с постоянной скоростью.
Проведенные экспериментальные исследования позволили определить технические параметры элементов спектрометра и разработать концептуальный проект измерительного комплекса для экологического мониторинга на предмет регистрации нефтяных разливов для МБВС. Согласно полученным результатам, практическая реализация разработанного лабораторного варианта спектрометра позволит обеспечить контроль критерия чистых вод в соответствии с международной конвенцией МАРПОЛ.
Глава 3 посвящена описанию структуры аппаратно-программной оболочки мониторинга нефтепродуктов, содержащихся в пленках и в растворенном состоянии. Оболочка должна решать три задачи: автономное детектирование нефтяных пятен на морской поверхности, их сегментацию и классификацию; обеспечивать работу ЛИФ спектрометра для определения типов нефтепродуктов в плёнке или растворе и измерение концентрации нефтепродуктов в последнем случае; обеспечивать автономную навигацию БВС и управление движением. Для решения каждой задачи аппаратно-программные элементы объединяются в подоболочки в соответствии с их функциональным назначением. Каждая из подоболочек является автономной в рамках своего функционального назначения и принимает решения только относительно поставленной подоболочке задачи. Для того чтобы осуществить взаимодействие подоболочек и выполнение миссии мониторинга в целом, эти подоболочки объединяются в единую оболочку HSFW. Единая оболочка оснащена приоритетным элементом искусственного интеллекта, который принимает приоритетные решения относительно наиболее важных вопросов выполнения миссии мониторинга и взаимодействия отдельных подоболочек. На рис. 5 приведена блок-схема интегральной подоболочки мониторинга HSFW. Она включает в себя: HSSFW1 – подоболочку пассивного оптического мониторинга (компьютерного зрения) морской поверхности; HSSF2 – подоболочку активной ЛИФ спектроскопии; HSSFW3 – подоболочку автономной навигации и управления движением БВС.
Рисунок 5 – Блок-схема HSFW для мониторинга загрязнений морских акваторий нефтепродуктами
Подоболочка HSSFW1 включает в себя видеокамеру RPI-CAM-V2 (camera HSSFW1) и элемент искусственного интеллекта детектирования, сегментации и классификации сликов на морской поверхности (элемент HSSFW1 в блоке искусственного интеллекта оболочки).
Подоболочка HSSFW2 включает в себя: излучатель LED LG 285 нм, средняя мощность излучения 70 мВт, спектрометр Maya 2000 Pro, объектив для плёнок и подводный объектив для регистрации излучения LED, рассеянного плёнками или подводной средой (в случае приводнения БВС). В HSSFW2 включён элемент искусственного интеллекта для обработки спектров ЛИФ и идентификации сортов нефтепродуктов, составляющих плёнку на поверхности или содержащихся в льяльных водах судов.
Глава 4 посвящена описанию концептуального проекта специализированного малогабаритного беспилотного летательного аппарата, который является носителем оболочки HSFW.
В п.п. 4.1 и 4.2 изложены общие положения концептуального проекта и концепция винтомоторной группы. Из анализа тех требований, которые предъявляются к носителю АПО мониторинга морской поверхности, был сделан выбор носителя с четырёхвинтовой схемой типа квадрокоптера. Были рассчитаны
основные характеристики силовой установки квадрокоптера и ёмкость аккумуляторов, которые показаны в таблице 2.
Таблица 2 – Основные характеристики БВС Вес БВС в сборе
Вес аккумуляторов
Ёмкость аккумуляторов
Масса полезной нагрузки (ЛИФ и камеры) Время полета без нагрузки
Время полета с максимальной нагрузкой Максимально допустимая скорость ветра Суммарная мощность силовой установки Возможность посадки на водную поверхность
5 кг
5 кг 1 кВт/ч 1.5 кг 60 мин 30 мин 6 м/с 2 кВт Да
В п. 4.3 описан концепт рамы БВС. Предварительно спроектированная 3D модель рамы и внешней оболочки корпуса БВС была загружена в программный пакет SolidWorks Simulation для произведения расчетов на нагрузку при максимальной тяге всех движителей 200 Н. Составлена полигональная сетка, в точности повторяющая форму испытуемого образца. Заданы планируемые материалы корпуса (авиационный алюминий).
Программный пакет SolidWorks Simulation производит расчеты с использованием метода конечных элементов. На рисунке 6 показан результат расчета максимальных перемещений элементов конструкции БВС при приложенной тяге движителей в 200 Н, из эпюры перемещений следует, что максимальное перемещение элемента конструкции составляет 1.17мм, что подтверждает правильный выбор конструкции и заданных материалов для изготовления БВС.
Рисунок 6 – Расчет корпуса БВС с использованием метода конечных элементов
Для обеспечения надежной эксплуатации дрона в различных условиях был произведен анализ времени полета в зависимости от общей массы беспилотного воздушного судна, такие данные показаны на рисунке 7.
Рисунок 7 – Зависимость времени полета от массы БВС
При эксплуатации БВС в автономном режиме требуется автоматически вычислять оставшееся время полета, причем конфигурация установленных на борт БВС аккумуляторов и полезной нагрузки может меняться в процессе эксплуатации, в формуле 2 отображена зависимость времени полета от полетной массы дрона, которая может быть использована в блоке предполетной подготовки для автоматического вычисления условий полета. Ошибка аппроксимации составляет ~ 0.8%.
, (2)
где y – это время полета БВС; x – это расчетная масса БВС.
Для обеспечения герметичности аппаратуры управления полетом и
измерительных систем был спроектирован герметичный корпус, который содержит места крепления и объемы для данных приборов. Корпус спроектирован с учетом необходимой плавучести летательного аппарата в случае приводнения на водную поверхность и измерения концентраций растворенных углеводородов с использованием активного лазерного спектрометра, находящегося на его борту.
В п. 4.4 описана система управления полётом БВС. Проведено обоснование выбора полётного контроллера, описана конфигурация GPS/GLONASS приёмника. Анализируются возможности использования двух систем для осуществления автономной посадки на движущееся судно: использование QR-кода и активной
посадочной метки (типа ИК-маяка). Обе возможности посадки промоделированы на симуляторе GAZEBO.
В п.4.5 дано описание схемы активного малогабаритного ЛИФ спектрометра, который был разработан в диссертации для постановки на специализированное БВС. На рис.8 приведено фото малогабаритного ЛИФ спектрометра, собранного в корпусе БВС. На рис.9 приведено фото БВС, изготовленного в соответствии с проведенными расчётами.
Рисунок 8 – Спектрометр ЛИФ: 1 – спектрометр Maya 2000Pro;
2 – лазерный светодиод 6060 UVS LED с радиатором; 3 – объектив 84-UV (Ocean Optics); 4 – объектив 74-ud (Ocean Optics); 5 – световод TTN036713-E0W;
6 – процессорная плата ITX-N2
Рисунок 9 – Испытания БВС на приводнение и взлёт с поверхности
Основные результаты, описанные в главе 4: разработан экспериментальный БВС для проведения мониторинга морской поверхности; рассчитан и напечатан на 3D-принтере корпус, который рассчитан на приводнение на морскую поверхность; подобрана винтомоторная группа; рассчитаны нагрузочные способности рамы путем проектирования в программном продукте SolidWorks Simulation; рассчитаны объемы корпуса для поддержания положительной плавучести; разработана схема интеграции активного лазерного флуориметра в корпус беспилотного воздушного
судна; изготовлен лабораторный макет беспилотного воздушного судна; отработаны технические средства для реализации автономной посадки беспилотного воздушного судна на движущийся объект.
В главе 5 приводится описание результатов натурных испытаний элементов аппаратно-программной оболочки БВС для мониторинга морских акваторий. Описаны результаты испытаний подоболочки HSSFW1 в натурных условиях, подоболочки HSSFW2 в лабораторном бассейне и некоторых элементов подоболочки HSSFW3 при автономной посадке БВС на подвижную платформу, при автономном приводнении и взлёте с морской поверхности.
В п. 5.1 приводится описание алгоритма работы HSSFW3, который обеспечивает максимально возможную автономность выполнения миссии мониторинга. Концептуальный вариант работы аппаратно-программной оболочки состоит из двух частей. Первый блок алгоритма позволяет подготовить комплекс к работе и выполнить все необходимые проверки сенсоров, исполнительных механизмов и силовых элементов БВС. Далее приводится вторая часть алгоритма, в которой производится непосредственно мониторинг морской поверхности.
В п. 5.2 приведены результаты натурных экспериментов по проверке разработанной автономной системе посадки БВС на движущуюся платформу. Тестировались два варианта посадки: первый вариант – посадка по QR-коду и второй вариант – посадка по активной ИК-метке (ИК-маяку). Предварительно оба варианта были смоделированы на симуляторе GAZEBO. Определялась максимальная скорость подвижной платформы, при которой искусственный элемент подоболочки HSSFW3 проводил уверенную посадку на движущуюся платформу. В результате экспериментов было установлено, что при использовании полётного контроллера PIXHAWK CUBE и компьютера Jetson Nano / Raspberry максимальная скорость движущегося объекта при посадке по ИК-маяку составила величину 1м/с, а при использовании метода посадки по QR-коду удалось проводить уверенную посадку на объект, движущийся со скоростью 1,8 м/c.
В п. 5.3 приведены результаты натурных испытаний подоболочек HSSFW2 и HSSFW1. Эксперименты проводились при проведении ходовых испытаний фрегата «Маршал Шапошников» при прохождении по акватории бухты Золотой Рог и при выполнении мониторинга акватории порта г. Владивосток. В первом случае результаты мониторинга оболочки HSSFW1 контролировались визуальными наблюдениями со второго БВС, управляемого оператором. Было выполнено детектирование нефтяных пятен до прохода фрегата, проведена классификация пятен, определена концентрация растворённых в морской воде углеводородов нефти и сорт судового топлива. Точно такие же измерения были выполнены непосредственно после прохождения фрегата. Значения концентраций и тип судового топлива были тестированы на результатах измерений, выполненных
в сертифицированной лаборатории МГУ им. адм. Г.И. Невельского методов ИК- Фурье спектроскопии. Было установлено отсутствие каких-либо выбросов судового топлива во время следования фрегата «Маршал Шапошников» по акватории бухты Золотой Рог.
Работа оболочки HSSFW1 тестируется в процессе регулярного мониторинга акватории порта г. Владивосток (бухты Золотой Рог, Диомид, Улисс). Результаты работы элемента искусственного интеллекта HSSFW1 сравниваются с визуальным контролем видеозаписей процесса мониторинга морских акваторий.
Физические процессы, происходящие в поверхностном слое океана и в нижних слоях тропосферы, изменяют уровень шероховатости поверхности морей и океанов, что позволяет выполнять их исследования, используя средства, установленные над морской поверхностью как стационарно, так и судах, летательных аппаратах [21]. Самым наглядным проявлением, вызванным различными физическими процессами, являются участки поверхности воды с подавленными или полностью отсутствующими волнами (рябью), такие участки называют сликами [8]. Слики образуются на морской поверхности и в результате загрязнения нефтепродуктами. Нефтяная плёнка выглядит в виде слика, который можно отличить от слика естественного происхождения по анализу спектрального состава, отражённого от его поверхности излучения.
При этом масштабы загрязнения морских акваторий нефтепродуктами в результате эксплуатации морского транспорта и технических сооружений в море постоянно увеличиваются. Катастрофы глобального масштаба случаются нечасто, однако приводят к значительным объёмам загрязнения и к очень большому ущербу окружающей среде. Такие катастрофы привлекают всеобщее внимание и на их ликвидацию выделяются огромные средства. Катастрофа Deepwater Horizon стала катализатором большого количества исследовательских работ [63, 67, 71, 89, 90]. Аварии нефтяных танкеров также могут нанести серьезный ущерб окружающей среде. Исследования стратегий обнаружения и методов смягчения последствий в замкнутом морском бассейне, таких как Балтийское или Средиземное моря, можно найти в работах [35, 36, 38]. В случае глобального масштаба катастроф используются всевозможные методы, включая спутниковые, авиа и судовые, которые требуют значительных средств. Они служат отправными точками для развития технологий предупреждения таких катастроф и методов их мониторинга. Однако менее заметные загрязнения региональных масштабов происходят практически ежедневно, и, по данным работ [54, 84], к настоящему моменту загрязнения таких масштабов составляют от 30 до 50% от общего объёма загрязнения океана. К основным источникам таких загрязнений можно отнести сброс льяльных вод судами, инциденты, связанные с бункеровкой судов, неисправности нефтепроводов и других технических объектов. В большинстве
случаев они являются локальными и трудно обнаружимыми.
Образуемые слики на морской поверхности, имеющие различные физические
механизмы образования, создают весомое влияние на отражение волн от морской поверхности как радио-, так и оптического диапазона. Эти особенности позволяют проектировать различные средства для мониторинга морской поверхности. В области слика происходит снижение энергии всех спектральных составляющих волнения поверхности [32].
Актуальность темы исследования.
Исследование структуры, динамики естественных сликов и тонких плёнок антропогенного происхождения является важным для изучения механизмов их образования, прогнозирования их поведения и разработки методов ликвидации загрязнений в случае плёнок нефтепродуктов. Как правило, наиболее часто слики и плёнки нефтепродуктов наблюдаются в шельфовой зоне. При их исследовании необходимо точно различать слики естественного происхождения от тонких плёнок антропогенного происхождения. В последнем случае в задачу мониторинга входит определение объёмов загрязнения плёнками нефтепродуктов и типа нефтепродуктов.
Использование дронов в качестве носителей аппаратно-программных комплексов для мониторинга поверхностных явлений морских акваторий может значительно расширить возможности дистанционного зондирования, особенно в случае мониторинга процессов небольшого масштаба. Т.е. в тех пространственных размерах на морской поверхности, которые доступны для малогабаритных дронов. Прежде всего, это слики на морской поверхности, которые образуются как в результате естественных процессов, включая гидрофизические процессы, протекающие в океане, так и в результате естественных биологических процессов или в результате процессов загрязнения океана нефтепродуктами. Все эти процессы приводят к образованию сликов, и исследование их структуры, динамики, а также источников их происхождения – актуальная задача, решение которой является важной в различных областях исследования Мирового океана. Особенно актуальна эта задача в шельфовых водах, на акваториях портов, в местах проведения разведки и добычи углеводородов, над подводными трассами нефтепроводов. Здесь необходимо иметь инструменты и методы, которые позволяют оперативно и относительно дешево осуществлять мониторинг сликов и определять их природу. Детектировать и измерять характеристики поверхностных плёнок и определять, являются ли эти плёнки проявлением естественных процессов или они возникли в результате аварийных ситуаций и представляют собой загрязнение нефтепродуктами. В процессе мониторинга необходимо различить слики, вызванные гидрофизическими процессами и тонкими плёнками, которые образованы различными сортами судового топлива. Необходимы определённые
условия наблюдения, чтобы установить точную природу плёнок.
Исследование динамики сликов естественного происхождения позволяет определять структуру взаимодействия глубинных процессов в океане с особенностями строения шельфа, анализировать возможную динамику внутренних волн, апвеллингов при их выходе на шельф. В случае тонких плёнок нефтепродуктов необходимо решение более сложной задачи. Требуется не только обнаружить наличие плёнки, но и измерить её характеристики (площадь, толщину) для определения объёмов загрязнения, установить типы нефтепродуктов для установления источников загрязнения. Одним из источников нефтяного загрязнения морских акваторий являются льяльные воды судов. И при их сбросе не всегда образуется тонкая плёнка на поверхности. Это зависит от концентрации нефтепродуктов в них и от гидрологических параметров морской воды, в которую проводится сброс. Существует и предельно допустимая концентрация растворённых углеводородов нефти при сбросе льяльных вод с судов, она не должна превышать значения в 15 ppm, согласно Международной конвенции МАРПОЛ [68]. Это довольно малая концентрация, и в настоящий момент существует необходимость разработки оперативных методов дистанционного зондирования для измерения таких концентраций растворов углеводородов нефти
в морской воде.
Поэтому в этом случае для определения объёмов загрязнения необходимо
осуществить измерение концентрации растворённых в морской воде нефтепродуктов.
Технология мониторинга нефтяных загрязнений с использованием дронов будет востребованной и может быть широко использована на практике в том случае, если она является оперативной, её обслуживание не требует специального персонала, особых условий эксплуатации и будет доступна по стоимости. Необходимо выбрать методы мониторинга, которые можно реализовать аппаратурой с такими массогабаритными параметрами и энергопотреблением, при которых допустимо использовать в качестве носителя аппаратуры малогабаритный дрон. Те ограничения в аппаратуре, которые возникают в связи с использованием таких носителей, необходимо компенсировать разработкой элементов искусственного интеллекта, который на основе данных зондирования проводит идентификацию и классификацию загрязнения, принимает решения по способам их исследования, оценивает объёмы загрязнения и выдаёт рекомендации по определению источников загрязнения. Требуется отработать методику детектирования таких плёнок и методику, позволяющую идентифицировать источники происхождения сликов: образованы ли они в результате естественных гидрофизических процессов или в результате разливов нефтепродуктов.
Несмотря на многие годы изучения свойств нефтяных плёнок и физических поверхностных явлений на морской поверхности, к настоящему времени нет достаточно данных для того, чтобы создать надёжную методику и аппаратуру, которая была бы в состоянии определять объёмы загрязнения и достоверно предсказывать поведение нефтяных пятен на морской поверхности [77]. Это утверждение относится к общему случаю нефтяных загрязнений, т.е. к отсутствию метода и аппаратной его реализации, которая была бы в состоянии определять характеристики любых типов нефтяных загрязнений во всех возможных диапазонах толщин нефтяных плёнок, а также надежно отличать физические явления от нефтесодержащих образований на поверхности воды, поскольку внешняя характеристика их обоих очень похожа. Однако многолетние накопления данных о нефтяных разливах и результаты многих лабораторных экспериментов позволяют к настоящему времени определить те методики и тот диапазон толщин нефтяных плёнок, которые можно использовать в практике мониторинга нефтяных разливов. Это, в основном, относится только к тонким плёнкам типа sheen, rainbow sheen и metallic, т.е. к диапазону толщин плёнок от 0.05 мкм до 1-3 мкм [78]. Такие плёнки образуют основную часть разливов в случае загрязнения нефтепродуктами, такими как судовое топливо, солярка или льяльные воды (т.е. не разливы сырой нефти). В меньшей степени они присутствуют и при разливах сырой нефти на морской поверхности. Однако и такие плёнки представляют большой практический интерес. Нет точных данных относительно величины загрязнений океана именно такими типами нефтепродуктов, однако некоторые источники утверждают, что они составляют очень значительную часть загрязнений. Существуют различные оценки объёмов загрязнения океана, которые вызваны различными типами нефтепродуктов (не сырой нефтью) в результате инцидентов при бункеровке судов или при сбросе льяльных вод судами. По разным источникам, такие региональные загрязнения составляют от 45% [84] до 60% [54] от общего объёма нефтяных
загрязнений океана.
Таким образом, если говорить о нефтяных загрязнениях моря, которые
проявляются в виде тонких плёнок на морской поверхности, то значительная часть их – это плёнки, имеющие толщину в этом диапазоне (sheen, metallic, rainbow sheen), указанные загрязнения наиболее похожи по внешнему виду на естественные «слики», вызванные физическими явлениями в толще и на поверхности воды.
Следовательно, региональный масштаб загрязнения моря вышеназванными нефтепродуктами составляет значительную часть от общего объёма нефтяных загрязнений океана. А технологии, которые существуют для мониторинга нефтяных загрязнений глобального масштаба, как правило, невозможно или нецелесообразно применять в случае аварий региональных масштабов. Необходима методика и технические средства, которые, с одной стороны,
позволят проводить локальный мониторинг на акваториях бункеровки судов, рейдах, в местах наиболее вероятного сброса льяльных вод судами, в местах локальных инцидентов при добыче или транспортировке нефтепродуктов, а, с другой стороны, обеспечат возможность отличать слики по их источникам происхождения.
Степень разработанности темы.
Основные ограничения, которые накладываются на аппаратную реализацию комплексного метода, заключаются в массогабаритных характеристиках используемой аппаратуры, её энергопотреблении. Возможность использования в качестве носителя обычных коммерческих дронов и оснащение дронов искусственным интеллектом, который обеспечивает автономную навигацию, полёт, проведение измерений, соответствующий анализ данных и принятие решений по результату мониторинга, делают такую систему доступной для широкого круга пользователей. Анализ существующих методов зондирования, технических требований к носителям аппаратуры, необходимой для их реализации и возможностей коммерческих дронов, показывает, что наиболее приемлемыми методами для использования на малогабаритных дронах в настоящее время являются оптические методы, а именно: анализ визуальных изображений нефтяных пятен и сликов на морской поверхности и метод лазерной индуцированной флуоресценции (ЛИФ). Использование этих двух методов на дронах позволит решить следующие задачи мониторинга: регистрацию и измерение параметров разлива; идентификацию типов нефтепродуктов в случае нефтяной плёнки на морской поверхности; измерение концентрации растворённых в морской воде углеводородов нефтепродуктов, а также определить, является ли детектируемое пятно на морской поверхности сликом естественного происхождения или оно вызвано наличием плёнки нефтепродуктов.
Возможности метода анализа визуальных изображений плёнок подробно описаны в работах [77, 78]. Это наиболее используемый и легко доступный метод, он применяется на практике очень много лет и принят в качестве «рабочего» (рекомендуемого метода) Боннским соглашением. Метод даёт неоднозначные оценки, требует хорошего опыта и анализа изображений, но, в силу своей дешевизны и доступности, является наиболее используемым. Боннское соглашение
рекомендует определённые коды для оценки толщины плёнок нефтепродуктов. Использование метода определения цветовых кодов плёнок на дронах делается впервые и для анализа этого диапазона толщин плёнок позволит получить значительную статистику изображений для проведения deep learning аппаратно- программной оболочки дрона и разработать последовательность действий со стороны искусственного интеллекта (ИИ) дрона, которые значительно улучшат точность определения толщины плёнок по анализу видимых изображений. Метод
не требует габаритной и тяжёлой аппаратуры, мощной энергетики для использования. Он может быть использован на малогабаритных дронах при мониторинге нефтяных загрязнений регионального масштаба. С одной стороны, это наиболее простой в аппаратном исполнении метод, а, с другой стороны, для анализа видеоизображений необходимо привлечение специальных методов и квалифицированных специалистов. В документе [43] описаны основные правила анализа нефтяных изображений. В случае мониторинга нефтяных плёнок типа sheen и rainbow slick этот метод может быть использован и для оценки диапазона толщины плёнок с дрона. Для того, чтобы обеспечить доступное использование этого метода (без привлечения квалифицированного персонала в области обработки изображений), необходимо разработать соответствующие элементы искусственного интеллекта дрона, которые смогут выполнять анализ по методам, приведённым в работе [43].
Метод ЛИФ является, пожалуй, единственным методом, позволяющим проводить оперативную идентификацию типов нефтяного загрязнения in situ, которые присутствуют как в виде плёнки на морской поверхности, так и в виде растворов углеводородов нефти в приповерхностном слое моря, и обеспечивает при этом возможность измерения концентрации углеводородов нефти, которые находятся в виде растворов в морской воде. Возможности метода ЛИФ для решения этой задачи исследуются достаточно
давно [82], использование метода для изучения растворённых в морской воде углеводородов нефти описано в работе [48]. В работе [80] была продемонстрирована разработка малогабаритного погружаемого ЛИФ- спектрометра для мониторинга качества морской воды. В работе была решена проблема минимизации массогабаритных параметров спектрометра за счёт использования источников возбуждающего излучения типа LED. Эти типы излучателей представляют перспективу и для разработки варианта ЛИФ- спектрометра для дрона.
Всё вышесказанное позволяет выбрать два метода для реализации аппаратного комплекса мониторинга на дронах – это метод анализа визуальных изображений плёнок и метод спектроскопии ЛИФ.
Цели и задачи.
Целью работы является разработка метода и аппарат но-программной оболочки (АПО) оперативного автономного мониторинга сликов естественного происхождения и плёнок нефтепродуктов на морской поверхности с использованием малогабаритных беспилотных воздушных судов (БВС). АПО на базе БВС должна обеспечить автономное детектирование сликов естественного происхождения и нефтяных плёнок, в последнем случае – проводить измерения параметров плёнок и концентрации растворённых в морской воде нефтепродуктов для определения объёмов загрязнения и типов нефтепродуктов.
Для достижения поставленной цели в работе решаются следующие задачи:
1. Разработать аппаратно-программную подоболочку лазерной спектроскопии для дрона, которая обеспечит определение типов нефтепродуктов в плёнке и в растворённом состоянии, а также измерение концентрации растворённых в морской воде нефтепродуктов. Для разработки АПО необходимо:
– разработать малогабаритный лазерный спектрометр для измерения спектров ЛИФ от плёнок на морской поверхности и от растворов нефтепродуктов в приповерхностном слое; –адаптировать элементы искусственного интеллекта для распознавания
типов нефтепродуктов по спектрам ЛИФ к использованию на малогабаритном дроне.
2. Разработать аппаратно-программную подоболочку для детектирования естественных сликов и нефтяных плёнок; в последнем случае необходимо обеспечить сегментацию и классификации тонких плёнок нефтепродуктов. Эта задача включает в себя:
–адаптацию метода компьютерного зрения для детектирования сликов естественного происхождения, тонких плёнок нефтепродуктов на морской поверхности к использованию на БВС. Для этого надо создать соответствующие последовательности изображения сликов и нефтяных плёнок для обучения нейросети;
– разработать элементы искусственного интеллекта компьютерного зрения для осуществления сегментации и классификации тонких плёнок нефтепродуктов для оценки толщины плёнок и измерения объёмов нефтепродуктов в плёнке. Для этого надо разработать программный продукт (на основе нерестового алгоритма), создать наборы данных для обучения нейросети на основе изображения реальных нефтяных плёнок.
3. Разработать аппаратно-программную подоболочку для автономной навигации и контроля полёта БВС. Для этого решить следующие задачи:
–обеспечить возможность автономной навигации БВС по результатам мониторинга;
– обеспечить автономную посадку БВС на движущийся объект;
– обеспечить возможность автономного приводнения и взлёта с морской поверхности.
4. Разработать носитель (БВС) аппаратно-программной оболочки для выполнения миссии мониторинга. Для этого решить следующие задачи:
– разработать корпус БВС;
–разработать малогабаритный лазерный спектрометр в виде полезной нагрузки для БВС; – разработать электросхему коммуникаций БВС и полезной нагрузки;
– произвести расчет движителей и силовой электроники.
Научная новизна заключается:
– в разработке оболочечной структуры аппаратно-программного комплекса мониторинга сликов на морской поверхности и нефтяного загрязнения в приповерхностном слое, которая позволяет реализовать автономный мониторинг с использованием малогабаритного БВС;
– в разработке малогабаритного лазерного спектрометра, который позволил адаптировать метод ЛИФ к использованию на БВС;
– в разработке элементов искусственного интеллекта оболочки, которые обеспечивают автономное выполнение миссии мониторинга морской поверхности с БВС.
Практическая значимость исследования определяется:
– использованием разработанного метода и аппаратно-программной оболочки для решения практических задач мониторинга морской поверхности. Результаты работы дают возможность проведения исследований гидрофизических процессов через изучение структуры и динамики поверхностных сликов естественного происхождения, а также обеспечивают проведение оперативного и автономного мониторинга загрязнения морской поверхности нефтепродуктами;
– искусственный элемент и аппаратные средства подоболочки навигации и управления движением могут быть использованы в БВС для решения других задач, в которых требуется автономное приводнение и посадка на движущийся объект;
– искусственный элемент детектирования и сегментации плёнок нефтепродуктов компьютерного зрения позволяет решать практические задачи обнаружения и определения объёмов нефтепродуктов, находящихся в плёнке на поверхности;
– аппаратно-программная подоболочка лазерной спектроскопии позволяет решать практическую задачу идентификации сортов нефтепродуктов и определять концентрацию нефтепродуктов, растворённых в морской воде; – создание структуры аппаратно-программного комплекса роботов в виде
«вложенных» подоболочек, в которых сенсоры и искусственный интеллект объединяются по принципу функционального назначения, является новым практическим результатом, который может быть использован для любого типа многофункциональных роботов, в миссию которых входит выполнение нескольких различных задач.
Достоверность результатов подтверждается положительным опытом применения предложенных методик в реальной эксплуатации при мониторинге акваторий портов и результатами проведенных в рамках диссертационного исследования натурных экспериментов.
Апробация результатов.
По вопросам диссертации было опубликовано более 17 работ, в том числе 7 работ в изданиях ВАК, Scopus, WoS. Получены два авторских свидетельства на полезную модель [2, 3, 4, 5, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 44, 45, 49].
Основные результаты диссертационной работы были представлены и получили признание на:
– XXVI Международном симпозиуме «Оптика атмосферы и океана. Физика атмосферы», 06-10 июля 2020 года, Москва;
– XXV Международном симпозиуме «Оптика атмосферы и океана. Физика атмосферы», 01-05 июля 2019 года, Новосибирск;
– Конференции «Вопросы развития морской робототехники», 12 декабря 2017 года, МИСиС, г. Москва;
– Форуме «Восток-2020», 2020 год, ДВФУ, Владивосток;
– Форуме «Армия» 2018-2020 гг., Владивосток;
– Второй Тихоокеанской научно-практической конференции ТОФ, 2020 год,
Владивосток;
–Конференции «Технологии ликвидации разливов нефти в ледовых
условиях», 2020 год, МГУ им. адм. Г.И. Невельского, Владивосток;
– Международной выставке «Транспорт России», 2017-2020 гг.; – Конкурсе «Молодые ученые транспортной отрасли», 2019 год (медаль
Министра транспорта за первое место);
– Форуме «Startup Village by The Sea», 2016 год, Сколково (победитель конкурса); – Международной технической конференции SLUSH, 2016 год, Хельсинки; – Конкурсе проектов Фонда содействия инновациям «Умник», 2016 год
(победитель конкурса);
– Всероссийском конкурсе интеллектуальных технологий двойного
назначения Минобороны России и технополис «ЭРА» (диплом за первое место);
– Восточном экономическом форуме, 2018-2019 гг., Владивосток; –Международной научно-технической конференции «Молодежь. Наука.
Инновации», 2013-2020 гг., МГУ им. адм. Г.И. Невельского, Владивосток;
– грантах: «УМНИК2017»; «РНФ» 2018-2020 гг.
Результаты диссертации использованы для выполнения договора по
мониторингу бухты Золотой Рог и вод Амурского Залива с ФГБУ АМП «Приморского края и Восточной Арктики» в 2021 г.,
Личный вклад автора заключается в:
– разработке и изготовлении специализированного БВС для мониторинга морских акваторий;
– проведении испытаний БВС и проведение натурных экспериментов по отработке методики мониторинга сликов естественного и антропогенного происхождения;
– разработке подоболочки HSSFW3 (подоболочки навигации и управления движением);
– участии в лабораторных экспериментах по разработке методике ЛИФ для мониторинга загрязнений нефтепродуктами с использованием на БВС;
–разработке структуры и наполнении последовательности изображений сликов для обучения нейронных сетей и элементов искусственного интеллекта подоболочки HSSFW1 и спектров ЛИФ для подоболочки HSSFW2.
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
5 (18 отзывов)
4.8 (211 отзывов)
4.8 (13 отзывов)
5 (91 отзыв)
4.6 (522 отзыва)
4.8 (37 отзывов)
5 (8 отзывов)
0 (13 отзывов)
4.2 (6 отзывов)
