Метод реализации активно-импульсного видения на основе ПЗС-фотоприемника
ВВЕДЕНИЕ ………………………………………………………………………………………………………. 4
ГЛАВА 1 ОСОБЕННОСТИ ПОСТРОЕНИЯ АКТИВНО-ИМПУЛЬСНОЙ
СИСТЕМЫ БЕЗ ИСПОЛЬЗОВАНИЯ ЭЛЕКТРОННО-ОПТИЧЕСКОГО
ПРЕОБРАЗОВАТЕЛЯ …………………………………………………………………………………….. 13
1.1 Описание предметной области ……………………………………………………………….. 13
1.2 Препятствия, возникающие при построении активно-импульсной
системы без электронно-оптического преобразователя ………………………………… 18
1.3 Особенности ПЗС-фотоприемников со строчным переносом ………………….. 24
Основные выводы по результатам первой главы ………………………………………….. 29
ГЛАВА 2 РЕАЛИЗАЦИЯ АКТИВНО-ИМПУЛЬСНОГО ВИДЕНИЯ НА
ПЗС-МАТРИЦЕ СО СТРОЧНЫМ ПЕРЕНОСОМ ……………………………………………. 30
2.1 Управление ПЗС-матрицей со строчным переносом при реализации
метода наблюдения со стробированием ……………………………………………………….. 30
2.2 Реализация метода наблюдения со стробированием на основе
ПЗС-матрицы в условиях низкой освещенности …………………………………………… 38
2.3 Критерии выбора фотоприемника …………………………………………………………… 44
Основные результаты второй главы……………………………………………………………… 49
ГЛАВА 3 ОПИСАНИЕ КОНСТРУКЦИИ МАКЕТА АКТИВНО-
ИМПУЛЬСНОГО ПРИБОРА НАБЛЮДЕНИЯ ………………………………………………… 50
3.1 Конструктивное исполнение …………………………………………………………………… 50
3.2 Аппаратно-программная реализация макета прибора ……………………………… 57
3.3 Аппаратная реализация алгоритмов управления ПЗС-матрицей ……………… 69
3.4 Оценка дальности действия макета разрабатываемой
активно-импульсной системы ………………………………………………………………………. 80
Основные результаты третьей главы ……………………………………………………………. 83
ГЛАВА 4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ МАКЕТА
АКТИВНО-ИМПУЛЬСНОГО ПРИБОРА НАБЛЮДЕНИЯ БЕЗ
ЭЛЕКТРОННО-ОПТИЧЕСКОГО ПРЕОБРАЗОВАТЕЛЯ ………………………………… 85
4.1 Предпосылки проведения экспериментов …………………………………………….. 85
4.2 Экспериментальная апробация предложенного способа управления
ПЗС-матрицей при наблюдении бликующих объектов …………………………………. 86
4.3 Изменение глубины просматриваемой зоны …………………………………………. 97
4.4 Улучшение способности обнаружения отражающих объектов ……………. 102
4.5 Наблюдение в условиях ограниченной видимости ………………………………. 105
4.6 Технические характеристики макета активно-импульсного прибора …… 108
4.7 Сравнение классических активно-импульсных систем с системами без
электронно-оптического преобразователя ………………………………………………….. 112
Выводы по результатам четвертой главы ……………………………………………………. 117
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………….. 118
СПИСОК СОКРАЩЕНИЙ …………………………………………………………………………….. 119
СПИСОК ЛИТЕРАТУРЫ………………………………………………………………………………. 120
ПРИЛОЖЕНИЕ А ПАТЕНТ НА ИЗОБРЕТЕНИЕ ………………………………………….. 134
ПРИЛОЖЕНИЕ Б АКТ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
ДИССЕРТАЦИОННОЙ РАБОТЫ …………………………………………………………………. 135
Во введении диссертации отражена актуальность темы исследования,
определены цель и задачи работы. Отражена научная новизна, теоретическая и
практическаязначимостьработы.Сформулированыосновныеположения,
выносимые на защиту.
В первой главе рассматриваются вопросы построения визирной части активно-
импульсногоприборанаблюдениянаосноветвердотельногоматричного
фотоприемника без использования электронно-оптического преобразователя (ЭОП)
вкачествевнешнегозатвора.Приводятсятребования,предъявляемыек
используемомуфотоприемнику.Описываютсяособенностиконструкции
ПЗС-фотоприемников со строчным переносом.
Обосновывается возможность использования функции электронного затвора
фотоприемника для фильтрации света лазерного излучателя, возвращаемого раньше
заданного времени, при наличии важного условия: конструкцией фотоприемника
должно допускаться суммирование нескольких кадров до их оцифровки.
Предложено использовать буферную секцию ПЗС-фотоприемника со строчным
переносом не только в качестве секции вертикального переноса, но также в качестве
дополнительной секции для накапливания зарядов. Такой подход позволяет
осуществить суммирование нескольких отдельных кадров и увеличить общее время
экспозиции суммарного кадра до необходимой величины. Общее время экспозиции
при этом может существенно превышать длительность единичного импульса
лазерной подсветки, что снимает необходимость использования внешнего усилителя
яркости.
Вовторойглавеприводитсяописаниеспособауправления
ПЗС-фотоприемником со строчным переносом, позволяющего реализовать на его
основе метод наблюдения со стробированием без применения внешний затворов и
усилителей яркости.
Суть предлагаемого способа заключается в следующем. С лазерным излучателем
синхронизируются управляющие ПЗС-матрицей сигналы Стереть и Переместить.
Первый обнуляет заряды в секции накопления фотоприемника, а второй
осуществляет перемещение накопленных зарядов из секции накопления в секцию
вертикального переноса (буферную секцию). Излучение, отраженное от объектов,
находящихся ближе заданного расстояния и представляющих собой помеху,
приходит раньше импульса обнуления, а потому в итоговый кадр изображения
никакого вклада не вносит.
Затем, вместо того, чтобы начать вертикальный перенос зарядов внутри
буферной секции, как того требует документация на фотоприемник, осуществляется
наблюдение второго отраженного импульса подсветки и перемещение вновь
полученных зарядов из секции накопления в буферную секцию, где они
суммируются с уже имеющимися зарядами, полученными при наблюдении первого
импульса. Процедура повторяется несколько раз (см. рис. 1).
Рисунок 1 – Многократная синхронизация фотоприемника с излучателем
При наблюдении всех последующих импульсов лазерного излучателя вновь
получаемые заряды в секции накопления фотоприемника добавляются к уже
имеющимся зарядам в секции вертикального переноса. Общее количество
импульсов лазерного излучателя N может быть произвольным и зависит от
конкретных условий наблюдения и выбирается таким, чтобы яркость фона и яркость
наблюдаемого объекта были достаточными с точки зрения оператора. После
завершения процедуры подсветки местности лазерным излучателем осуществляется
вертикальный перенос зарядов в буферной секции фотоприемника способом,
указанным в документации на него, и их считывание оцифровывающей схемой. По
завершении вертикального переноса итогового кадра действия повторяются.
На рис. 1 сигнал Вертикальный перенос – условный, обозначающий происходит
ли вертикальный перенос зарядов в данный момент времени или нет. Сигналы
Стереть и Переместить также являются условными. При управлении реальным
ПЗС-фотоприемником обнуление зарядов в секции накопления, перемещение
зарядов из секции накопления в секцию переноса и управление вертикальным
переносом зарядов осуществляется не отдельными импульсами, а путем подачи
определенной последовательности потенциалов на управляющие входы в порядке,
определяемом производителем ПЗС-фотоприемника.
Для управления ПЗС-матрицей указанным способом были разработаны два
алгоритма управления, подробно описанные в тексте диссертации. Первый алгоритм
предназначен для реализации активно-импульсного видения, второй – для
управления ПЗС-матрицей при комбинации пассивного режима наблюдения с
активно-импульсным.Второйспособуправленияможетприменятьсядля
повышения наглядности изображения при наблюдении в условиях пониженной
освещенности, когда минимальное время экспозиции фона существенно превышает
суммарную длительность импульсов лазерного излучателя. Такой подход позволяет
наблюдать блики предметов, хорошо отражающих подсветку лазерного излучателя,
с привязкой к ориентирам на местности и получить изображение приемлемого с
точки зрения оператора качества.
Также в разделе приводятся примеры диаграмм сигналов управления реальной
ПЗС-матрицей при реализации обоих способов управления.
В конце раздела приводятся критерии выбора фотоприемника на основе
предполагаемых характеристик разрабатываемой активно-импульсной системы.
В третьей главе рассматриваются вопросы конструкции и аппаратно-
программной реализации макета активно-импульсного прибора наблюдения,
использовавшегося при проведении экспериментов в качестве стенда для
исследования возможностей фотоприемников. Описывается построение основных
узлов цифрового активно-импульсного прибора наблюдения, их взаимодействие
между собой и реализация алгоритмов управления ПЗС-матрицей.
Для подтверждения возможности реализации активно-импульсной системы
наблюдения предложенным способом на практике был разработан действующий
макет активно-импульсного прибора наблюдения. Механически устройство (рис. 2)
состоит из жесткого основания (1) и комплекта закрепленных на нем печатных плат,
которые соединены друг с другом кабелями-шлейфами: платы излучателя (3), с
установленным на ней лазерным излучателем (2), плат видеообработки (4) и платы
фотоприемника (5), с установленной на ней ПЗС-матрицей (6). Между основанием и
платой фотоприемника располагается бленда, защищающая ПЗС-матрицу от
попадания на нее постороннего света.
Рисунок 2 – Конструкция макета активно-импульсного прибора наблюдения
Также на основании (1) закреплены два объектива, один из которых (7)
предназначен для фотоприемника, а другой (8) – для лазерного излучателя.
Для проведения экспериментов в полигонных условиях также предусмотрен
кожух (9) с устанавливаемой в нем аккумуляторной батареей (10), модулем
микромонитора (11), герметичными разъемами (12), через которые осуществляется
передача изображения на персональный компьютер, и кнопками управления (на
рисунке не показаны). В лабораторных условиях кожух не используется, управление
прибором-макетом осуществляется при помощи персонального компьютера, а
вывод изображения осуществляется только на компьютер, без использования
микромонитора. На рис. 3 приведены фотографии прибора-макета без кожуха и с
кожухом.
Рисунок 3 – Фотографии макета активно-импульсного прибора наблюдения
Управление ПЗС-фотопримником и лазерным излучателем осуществляется
посредством формирования управляющих импульсов специальными модулями,
реализованными на программируемой логической интегральной схеме (ПЛИС). В
модулях реализованы как стандартный алгоритм управления ПЗС-матрицей в
соответствии с документацией производителя, так и предложенные алгоритмы
управленияПЗС-матрицейдляосуществленияметоданаблюдениясо
стробированием и комбинированного режима наблюдения.
Спроектированы аппаратно-программные модули в дальнейшем могут быть
использованы при разработке перспективных цифровых малогабаритных активно-
импульсных приборов наблюдения или комплексированных систем.
В четвертой главе приведены результаты экспериментов, подтверждающие
реализуемость предложенного способа построения активно-импульсной системы на
основе ПЗС-матрицы со строчным переносом без использования электронно-
оптическогопреобразователя.Подтвержденаэффективностьиспользования
цифрового активно-импульсного прибора наблюдения для поиска оптических
устройств на местности по их бликам и применимость прибора в условиях
ограниченной видимости.
В частности, была подтверждена способность отсекать свет лазерной подсветки,
отраженный от объектов, которые находятся ближе заданного расстояния. В
экспериментах роль наблюдаемых объектов играли катафоты, которые были
установлены на различных относительно устройства наблюдения дистанциях. В
ходе экспериментов поочередно устанавливались различные значения расстояния
подсветки, или, другими словами, регулировалось время задержки между
срабатыванием лазерного излучателя и подачей управляющих считыванием и
стиранием зарядов ПЗС-матрицы импульсов. Затем и визуально, и программными
методами проверялось, будут ли видны на изображении блики от наблюдаемых
катафот, если установить дальность подсветки, превышающую заранее известное
расстояние до конкретного катафота.
Примеры изображений, полученных при проведении экспериментов на
ПЗС-матрицах семейства ICX445, приведены на рис. 4. На левом скриншоте
демонстрируется наблюдение бликующего объекта (для наглядности обведен
окружностью), расположенного на расстоянии 400 м от наблюдателя при
установленной дальности 320…350 м. На правом скриншоте наблюдаются два
объекта, один из которых находится на дистанции 400 м, а другой на дистанции 300
м, при этом дальность наблюдения установлена 290 м.
Рисунок 4 – Наблюдение бликов от катафотов, расположенных на разных
дистанциях
Другим примером проводимых экспериментов является наблюдение в условиях
мутной среды. Для проведения эксперимента было подготовлено изолированное
помещение, которое было насыщено дымом. В качестве наблюдаемого предмета
использовалась мира в виде вертикальных штрихов. Ширина линии и расстояние
между линиями составляет 30 мм. Вертикальный размер штрихов 270 мм. Мира
располагалась на расстоянии 20 м от макета активно-импульсного прибора
наблюдения. В эксперименте дистанция наблюдения, то есть, дистанция восприятия
отраженного лазерного излучения, постепенно менялась от минимальной и до
такого значения, когда мира становилась отчетливо различимой.
Примеры наблюдавшихся в ходе проведения эксперимента изображений приведены
на рис. 5. На данном рисунке приведен кадр изображения, снятый в пассивном
режиме при естественной освещенности, без использования лазерной подсветки
(верхний левый скриншот), а также снятые в активно-импульсном режиме
наблюдения при установленной дальности подсветки 10, 15 и 20 м (остальные кадры
в порядке сверху вниз и слева направо).
При установленной дальности наблюдения, соответствующей дальности
размещения миры, дым не виден, что говорит о том, что свет, отраженный от частиц
дыма, полностью отфильтрован. А при наблюдении на меньшие дистанции (или, что
то же самое – при установленном времени задержки стирания и считывания зарядов
меньшем, чем необходимо свету пройти расстояние до объекта и обратно)
изображение дыма полностью или частично перекрывает изображение цели.
Рисунок 5 – Наблюдение миры в условиях задымления. Пояснения в тексте
Данный эксперимент наглядно демонстрирует возможности реализации метода
наблюдения со стробированием по дальности (активно-импульсного видения) при
использовании предложенного способа управления ПЗС-матрицей со строчным
переносом.
В заключении сформулированы основные результаты диссертации.
В приложениях к диссертации представлен патент на изобретение «Способ
активно-импульсного видения», а также акт об использовании результатов
диссертационной работы Федеральным государственным унитарным предприятием
«Государственный научно-исследовательский институт прикладных проблем»
(«ГосНИИПП»), г. Санкт-Петербург.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ
1. Разработан и исследован способ управления ПЗС-матрицей со строчным
переносом, позволяющий реализовать на ее основе систему наблюдения методом
стробирования (активно-импульсную систему).
2. Разработаны алгоритмы формирования управляющих сигналов ПЗС-матриц со
строчным переносом, реализующие предложенный способ управления ПЗС-
матрицами.
3. Спроектированприбор-стенд,позволившийуправлятьПЗС-матрицами
недокументированными способами и провести экспериментальную апробацию
предложенного способа управления ПЗС-матрицей. Прибор-стенд используется в
качестве макета активно-импульсной системы без ЭОП.
4. Проведенные в ходе работы эксперименты показали работоспособность
предложенного способа управления ПЗС-матрицей и наглядно продемонстрировали
его практическую применимость. На его основе могут быть разработаны
перспективныемалогабаритныецифровыеактивно-импульсныесистемы
наблюдения, обладающие меньшими массой и габаритными размерами по
сравнению с аналогичными приборами, реализованными на основе электронно-
оптических преобразователей.
Работа посвящена созданию малогабаритного цифрового активно-
импульсного прибора наблюдения на основе ПЗС-матрицы без использования в
его конструкции электронно-оптического преобразователя или иного другого
внешнего по отношению к фотоприемнику затвора.
Актуальность темы исследования
Активно-импульсными (АИ) называются приборы наблюдения, принцип
действия которых основан на методе стробирования по дальности. Такие приборы
имеют в своей конструкции синхронизированные друг с другом фотоприемник и
импульсный излучатель, используемый для подсветки сцены [1–5].
Суть метода заключается в том, что фотоприемник начинает получать
изображение с некоторой задержкой относительно срабатывания излучателя,
благодаря чему воспринимает свет излучателя, отраженный только от
интересующих оператора объектов, отсекая при этом свет, отраженный от
объектов, находящихся ближе заданного расстояния, например, от частиц пыли
или тумана, расположенных между наблюдателем и интересующим наблюдателя
объектом [6].
Такие устройства также могут применяться для наблюдения в условиях
ограниченной видимости при задымлении, в тумане, а также при наличии
встречной засветки [7–11]. В последнее время активно-импульсные системы,
основанные на методе стробирования, получили широкое распространение в
задачах дистанционного обнаружения оптической и оптико-электронной
аппаратуры, осуществляющей направленное встречное наблюдение [12–15].
Подобные приборы могут быть применены при проведении поисковых,
спасательных и контртеррористических мероприятий в условиях
неблагоприятной видимости, поэтому их усовершенствование за счет применения
новых научно-технических решений безусловно является актуальным [16, 17].
Кроме того, разработка устройств наблюдения с использованием новых
принципов или способов получения изображения, в том тех, в основе которых
лежит активно-импульсный метод наблюдения, признана одним из актуальных
направлений развития современной радиотехники и фотоэлектроники [18]. На
сегодня мировой рынок электроники и оптико-электронной техники занимает
одно из ведущих мест в ряду высоких технологий. Причиной высокого темпа
развития является постоянное совершенствование радиоэлектронной элементной
базы, что, в свою очередь, позволяет реализовывать новые схемотехнические
решения в устройствах получения и обработки изображений.
Основными результатами работы являются:
1. Разработан и исследован способ управления ПЗС-матрицей со строчным
переносом, позволяющий реализовать на ее основе систему наблюдения методом
стробирования (активно-импульсную систему).
2. Разработаны алгоритмы формирования управляющих сигналов
ПЗС-матриц со строчным переносом, реализующие предложенный способ
управления ПЗС-матрицами.
3. Спроектирован прибор-стенд, позволивший управлять ПЗС-матрицами
недокументированными способами и провести экспериментальную апробацию
предложенного способа управления ПЗС-матрицей. Прибор-стенд используется в
качестве макета активно-импульсной системы без ЭОП.
4. Проведенные в ходе работы эксперименты показали работоспособность
предложенного способа управления ПЗС-матрицей и наглядно
продемонстрировали его практическую применимость. На его основе могут быть
разработаны перспективные малогабаритные цифровые активно-импульсные
системы наблюдения, обладающие меньшими массой и габаритными размерами
по сравнению с аналогичными приборами, реализованными на основе
электронно-оптических преобразователей.
СПИСОК СОКРАЩЕНИЙ
АИ – активно-импульсный
АЦП – аналого-цифровой преобразователь
ДКВ – двойная коррелированная выборка
ИК – инфракрасный
КМОП – комплементарная структура металл-оксид-полупроводник
КМОП-матрица – матричное фотоприемное устройство, выполненное на основе
технологии КМОП
КМОП-фотоприемник – КМОП-матрица
ЛИ – лазерный излучатель
ОС – операционная система
ПЗС – прибор с зарядовой связью
ПЗС-матрица – матричный фотоприемник, выполненный по технологии ПЗС
ПЗС-процессор – процессор, обеспечивающий взаимодействие цифровых цепей
электронной схемы с ПЗС-фотоприемником
ПЗС-фотоприемник – ПЗС-матрица
ПЛИС – программируемая логическая интегральная схема
СП – сигнальный процессор
ФПМ – функция передачи модуляции
ЭОП – электронно-оптический преобразователь
BGA – ball grid array (тип корпуса поверхностно-монтируемой микросхемы)
ERCS – встраиваемая реконфигурируемая вычислительная система
FRAM – ферроэлектрическое запоминающее устройство с произвольным
доступом
LVDS – низковольтная дифференциальная передача сигналов
SDRAM – синхронное динамическое оперативное запоминающее устройство
Публикации автора в научных журналах
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!