Методы и алгоритмы обработки информации в автостереоскопических дисплеях с использованием комбинированного способа построения объемных изображений
ВВЕДЕНИЕ
1 ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ ТРЕХМЕРНОЙ
ВИЗУАЛИЗАЦИИ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ
АВТОСТЕРЕОСКОПИЧЕСКИХ ДИСПЛЕЕВ НА ОСНОВЕ
КОМБИНИРОВАННОГО СПОСОБА ПОСТРОЕНИЯ ОБЪЕМНЫХ
ИЗОБРАЖЕНИЙ
1.1 Краткая характеристика объемной визуализации
1.2 Сравнительный анализ методов формирования трехмерных
изображений
1.3 Описание процесса визуализации на основе комбинированного
способа построения объемных изображений
1.4 Постановка задачи диссертационного исследования
1.5 Заключение по разделу 1
2 ФОРМАЛИЗАЦИЯ ПРОЦЕССА ФОРМИРОВАНИЯ ОБЪЕМНЫХ
ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ АВТОСТЕРЕОСКОПИЧЕСКИХ
ДИСПЛЕЕВ НА ОСНОВЕ КОМБИНИРОВАННОГО СПОСОБА
ПОСТРОЕНИЯ ОБЪЕМНЫХ ИЗОБРАЖЕНИЙ
2.1 Разработка семантической сети предметной области построения 3D-
изображений с использованием объемных дисплеев
2.2 Системный анализ процесса обработки информации при построении
объемных изображения с использованием автостереоскопических дисплеев на
основе комбинированного способа построения объемных изображений
2.3 Разработка функциональных моделей процесса визуализации
объемного изображения на основе комбинированного способа с использованием
нотаций IDEF0
2.4 Определение характеристик переменных, описывающих процесс
построения объемных изображений на основе комбинированного способа с
использованием диаграмм потока данных
2.5 Определение наиболее информативных переменных и параметров,
влияющих качество объемного изображения.
2.6 Разработка общей семантической сети предметной области
формирования объемных изображений
2.7 Заключение по разделу 2
3 РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ И АЛГОРИТМОВ
ОПИСАНИЯ ПРОЦЕССОВ ВОСПРИЯТИЯ И ВОСПРОИЗВЕДЕНИЯ
ОБЪЕМНЫХ ИЗОБРАЖЕНИЙ, ФОРМИРУЕМЫХ НА ОСНОВЕ
КОМБИНИРОВАННОГО СПОСОБА
3.1 Классификация критериев и методов оценки качества объемных
изображения69
3.2 Разработка обобщенного критерия оценки качества объемных
изображений, формируемых в автостереоскопических дисплеях
3.3 Построение алгоритма описания интерпретации и преобразования
информации процесса восприятия объемных изображений, формируемых
на основе комбинированного способа в автостереоскопических дисплеях,
с использованием статусных функций
3.4 Математическое моделирование процесса трассировки лучей
в оптической системе автостереоскопических дисплеев
3.4.1 Постановка задачи
3.4.2 Разработка математической модели процесса трассировки
лучей в оптической системе автостереоскопических дисплеев
3.4.3 Выбор инструментального программного средства для
математического моделирования процесса трассировки лучей в
оптической системе автостереоскопических дисплеев
3.4.4 Разработка программного средства для математического
моделирования процесса трассировки лучей в оптической системе
автостереоскопических дисплеев
3.4.5 Описание и анализ результатов математического
моделирования процесса трассировки лучей в оптической системе
автостереоскопических дисплеев
3.4.6 Заключение по подразделу 3.4
3.5 Математическое моделирование описания процессов восприятия
и воспроизведения объемных изображений в автостереоскопических дисплеях
на основе комбинированного способа
3.6 Заключение по разделу 3
4 РАЗРАБОТКА АРХИТЕКТУРЫ СИСТЕМЫ ПОДДЕРЖКИ
ПРИНЯТИЯ РЕШЕНИЯ ДЛЯ ИССЛЕДОВАНИЯ ПРОЦЕССА
ВИЗУАЛИЗАЦИИ ОБЪЕМНЫХ ИЗОБРАЖЕНИЕ ЗАДАННОГО
КАЧЕСТВА В АВТОСТЕРЕОСКОПИЧЕСКИХ ДИСПЛЕЯХ
КОМБИНИРОВАННОГО ТИПА
4.1 Постановка задачи создания системы поддержки принятия решений
для исследования процессов объемной визуализации с использованием
комбинированного способа
4.2 Характеристика функций системы поддержки принятия решений для
исследования процесса объемной визуализации с использованием
комбинированного способа
4.3 Разработка архитектуры системы поддержки принятия решений при
построении объемных дисплеев
4.4 Программная реализация системы поддержки принятия решений при
конструировании автостереоскопических дисплеев
4.5 Описание и анализ результатов использования системы поддержки
принятия решений при построении объемных дисплеев
4.6 Заключение по разделу 4
5 РАЗРАБОТКА ТЕХНИЧЕСКИХ РЕШЕНИЙ РЕАЛИЗАЦИИ
АВТОСТЕРЕОСКОПИЧЕСКИХ ДИСПЛЕЕВ КОМБИНИРОВАННОГО
ТИПА С ИСПОЛЬЗОВАНИЕМ РЕКОМЕНДАЦИЙ СИСТЕМЫ
ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ
5.1 Разработка универсальной мобильной насадки с использованием
многослойных наклонных проецирующих граней
5.2 Разработка универсальной мобильной насадки с использованием
параллаксных барьеров и видеоряда из набора чересстрочных стереопар
5.3 Построение объемного дисплея с использованием параллаксных
барьеров и чересстрочной стереопары проецируемых на наклонных гранях
пирамиды
5.4 Разработка объемного дисплея кругового обзора с вращающейся
рабочей областью и массивом проекторов
5.5 Построение объемного дисплея с использованием горизонтальной
стереопары и оптической системы из ожерелья линз
5.6 Заключение по разделу 5
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ
ПЕРЕЧЕНЬ ОСНОВНЫХ ТЕРМИНОВ
СПИСОК ЛИТЕРАТУРЫ
Приложение А. Свидетельства о государственной регистрации
программ для ЭВМ
Приложение Б. Копии актов об использовании результатов
диссертационного исследования
Приложение В. Статусные функции
Во введении обоснована актуальность работы, определены ее цель и задачи
исследования, научная новина и практическая значимость, изложены положения,
выносимые на защиту.
В разделе 1 описаны возможные способы восприятия объема человеческим
мозгом. Приведен анализ ряда научных публикаций, патентов, статей и источников,
посвященных методам формирования объемного изображения. Проведен
сравнительный анализ и представлена сравнительная характеристика достоинств и
недостатков существующих решений.
Проведенный обзор и первоначальный этап исследования показали, что не
существует универсального метода формирования объемного изображения,
обладающего всеми необходимыми достоинствами.
Поэтому предложен комбинированный способ построения объёмного изображения с
использованием автостереоскопических дисплеев, построенных на Российской
запатентованной технологии «Объемный дисплей и способ формирования трехмерных
изображений», в основе которого содержится использование набора стереопар, которые
подвергаются компьютерной обработке для дальнейшего проецирования их с
использованием комплекса аппаратных и оптических средств. Предложенный метод
формирования объемных образов и разрабатываемые устройства для его воспроизведения
должны обеспечивать перенос изображения объекта из реального пространства в
виртуальное с минимальной потерей качества. При этом не требуется широкополосный
канал передачи данных, а также сложная первичная обработка информации
Предложена цель исследования, достижение которой подразумевает обеспечение
возможностиполученияобъемногоизображениятребуемогокачествав
автостереоскопических дисплеях, с использованием комбинированного метода построения
объемных изображений. Сформулированы основные задачи, которые необходимо решить
в рамках настоящего исследования.
В разделе 2 выполнен системный анализ формирования объемных изображений с
использованием автостереоскопических дисплеев, что позволило формализовать процесс
построения объемного изображения и описать работу системы автостереоскопического
дисплея комбинированного способа обработки первичных изображений. В результате
анализа выделены следующие основные стадии преобразования изображений из исходных
в конечное, объемное, которое происходит в автостереоскопических дисплеях (рис. 1).
Полученные результаты отражают сложность системы, её многомерность. При этом
характеристики процессов системы, взаимовлияние которых необходимо изучить,
измеряются в различных шкалах.
Рис. 4. Функциональное моделирование процесса преобразования
изображения (1 уровень)
Рис. 1. Обобщенная последовательность преобразований
при формировании объемного изображения
При этом разработана семантическая сеть предметной области исследования, что
позволяет автоматизировать формирование описания конкретного варианта технической
реализации объемного дисплея и характеристик его промежуточных состояний,
получаемых на различных стадиях процесса, в том числе с использованием
автоматизированных систем научных исследований на основе формализации знаний в
предметной области.
Поведенный системный анализ позволил описать процесс формирования объемных
изображений на основе функционального моделирования с использованием нотаций IDEF0
(рис. 2). Полученную функциональную модель с учетом возможностей статусных функций
целесообразно использовать для решения задачи обеспечения выходных объемных
изображений заданного качества.
Рис. 2. Функциональное моделирование
процесса создания объемного изображения (2 уровень)
Описан процесс построения объемного изображения с использованием диаграмм
потока данных (рис. 3).
Рис. 3. Фрагменты диаграмм потока данных (DFD)
В результате определены: основные характеристики опорных изображений;
субъективные характеристики, влияющие на способность восприятия эффекта объема
отдельным наблюдателем; выявлены взаимосвязи влияния значений характеристик вход-
выход, а также между собой (табл. 1).
Таблица1.Матрицасмежностейвзаимосвязеймеждупараметрами,влияющихна
качество формируемого объемного изображения
Относительность размеров
Трехмерное разрешение
объемного изображения
Неоднородность формы
Двумерное разрешение
Параллакс движения
Частота обновления
Градиент текстуры
Вращение объекта
Размер области
Битность цвета
Контрастность
диспаратность
Конвергенция
Бинокулярная
Перспективы
Угол обзора
Линеатура
Окклюзия
Яркость
Тени
Относительно0100110110011100000
сть размеров
Двумерное0000000000000000000
разрешение
Параллакс1101111110011110001
движения
Вращение1100111110011110001
объекта
Тени0100011100011101110
Перспективы1100101110011100000
Окклюзия1111100100011100000
Неоднороднос0100001010001100000
ть формы
Градиент0100000000000111110
текстуры
Конвергенция1011110100011000001
Бинокулярная1000011100001000001
диспаратность
Размер0000000000000010000
области
объемного
изображения
Угол обзора0000000000010010001
Трехмерное0100000000010010000
разрешение
Линеатура0100000000011000000
Яркость0000000000000000000
Контрастность0000000000000000010
Битность0000000000000000000
цвета
Частота0000000000000010000
обновления
Также произведена оценка степени влияния характеристик изображения на
формируемую объемную сцену экспертной группой (табл. 2).
Таблица. 2. Весовые коэффициенты влияния характеристик на выходное изображение
Среднее
Экспертзначение
Параметры
коэффициента
12345678910
Относительность
0,050,040,040,050,040,050,030,030,040,030,04
размеров
Двумерное0,060,050,040,060,040,040,060,050,050,050,05
разрешение
Параллакс движения0,060,040,040,060,050,060,050,040,060,040,05
Вращение объекта0,060,040,060,060,030,050,060,040,050,050,05
Тени0,060,060,070,070,070,080,070,070,080,070,07
Перспектива (прямая,
обратная,
панорамная,
0,120,090,10,110,090,10,10,10,10,090,1
сферическая,
воздушная,
перцептивная)
Взаимное
перекрытие объектов0,040,040,040,040,020,020,030,020,030,020,03
(окклюзия)
Неоднородность
0,040,070,080,060,050,060,050,060,070,060,06
формы
Градиент текстуры0,070,050,080,070,070,080,060,080,070,070,07
Конвергенция0,040,070,040,050,070,060,070,050,070,080,06
Бинокулярная
0,090,090,10,10,10,110,090,10,110,110,1
диспаратность
Размер области
объемного0,040,090,070,070,080,070,060,070,070,080,07
изображения
Угол обзора0,050,060,040,030,070,050,050,060,040,050,05
Трехмерное
0,070,040,050,040,030,030,020,030,030,060,04
разрешение
Линеатура0,020,040,020,050,060,040,040,050,040,040,04
Яркость0,020,040,020,020,040,020,060,050,020,010,03
Контрастность0,020,030,040,020,030,030,040,050,020,020,03
Битность цвета0,050,040,020,020,040,040,050,040,040,060,04
Частота обновления
0,040,020,050,020,020,010,010,010,010,010,02
рабочей области
Итого11111111111
Определено значение коэффициента конкордации W = 0.73, что свидетельствует
о наличии достаточной степени согласованности мнений экспертов.
В разделе 3 проведен сравнительный анализ критериев и методов оценки качества
объемных изображений, на основе которого предложен оригинальный критерий оценки
качества трёхмерных изображений и математический аппарат для создания формального
описания процесса визуализации, а также алгоритм преобразования и интерпретации
графической информации в объемном формате представления данных с использованием
статусных функций (см. табл. 3).
Таблица 3. Анализ возможностей методов оценки качества воспроизведения и восприятия изображений
Метод (критерий)Показатель качества воспроизведения и восприятия изображения
ХИ/ХММОМЗССВОиСХ
Релея+/—–
Нормированное СКО яркости+/—–
Частные критерии+/++—
Экспертная оценка+/–+-
Функциональные модели+/+++–
На основе статусных функций+/+++++
где ХИ – характеристика искажений, ХМ – характеристика шумов, МО – математическое описание зависимости
характеристик аппаратуры и входных изображений с качеством выходных, МЗС – использование модели зрительной
системы, СВ – учет субъективного восприятия, ОиСХ – комплексный учет объективных и субъективных
характеристик, СКО – среднеквадратичное отклонение.
Предложен и реализован алгоритм для разработки программного обеспечения
трассировки светового пучка при прохождении через преломляющую поверхность.
Получены результаты для задач трассировки светового пучка в трехмерном
пространстве (рис. 3), которые свидетельствуют о возможности использования двух
параболических зеркал, одно из которых зеркально отражено по вертикали относительно
второго для построения нового типа 3D-дисплеев с возможностью демонстрации
изображения в круговом диапазоне угла просмотра. Разработанное ПО позволяет расширить
диапазон варьирования значения угла обзора, а также подобрать требуемый радиус кривизны
параболических зеркал, их диаметр и снизить показатель аберраций.
Полученные при моделировании результаты могут быть использованы при
исследовании и разработке дисплеев способных визуализировать изображения, заданного
пользователем качества, при этом уменьшая трудозатраты на подбор характеристик,
«подгонку» оптической системы.
С использованием предложенного алгоритма по оцениванию качества объемного
изображения осуществлено математическое моделирование описания процессов
восприятия и воспроизведения объемных изображений. Выполнена оценка объемных
изображений различного качества, которой соответствует лингвистическая оценка:
«плохое», «приемлемое», «хорошее», а также частный случай «отличного» изображения
сналичием
хроматических
аберраций.
Сформирована база
правил, в которой каждой
характеристике объемного
изображения предложены
лингвистические
переменные и их диапазон
варьирования.Для
каждогодиапазона
определеныфункции
принадлежности в виде
распределения Гаусса:
Рис. 3. Траектория светового пучка при прохождении через линзу с
заданными пользователем параметрами
( − )2
−(1)
= 2 2,
а также установлена двойная система оценок, в которой определяется численное
значение переменной, а также субъективное мнение эксперта или пользователя.
На этапе фаззификации определены лингвистические переменные
характеристик, соответствующие 4-м моделируемым состояниям и сформированы СФ
для них на основе формулы (2):
= ( )exp( 2 ).(2)
На этапе агрегирования сформированы статусные функции для укрупненных
групп характеристик по формуле (3), т.е. для характеристик дисплеев, монокулярных
и бинокулярных признаков:
( ) = ∑4 =1 ∑1 =−1 ( ),(3)
где– весовые коэффициенты из таблицы 2.
В результате активизации определены результирующие СФ для четырех
исследуемых качеств изображений, при суммирование укрупненных групп,
умноженных на весовые коэффициенты (4):
( ) = ∑√ вх ( ).(4)
=1
На этапе аккумуляции вычислены интегральные моменты (табл. 4) по формулам
(5)-(7):
+1+1+1
= ∫−1 ∗ | ( )|2 ; = ∫−1 2 ∗ | ( )|2 ; = ∫−1 3 ∗ | ( )|2 (5)-(7)
Таблица 4. Математическое ожидание для оценки различного качества объемных изображения
Хорошее с хроматическими
КачествоПлохоеПриемлемоеХорошее
аберрациями
Математическое
8.223 ∗ 10−33.0135 ∗ 10−3−1.2385 ∗ 10−3−3.5735 ∗ 10−3
ожидание
Дисперсия9.09 ∗ 10−34.676 ∗ 10−32.589 ∗ 10−33.158 ∗ 10−3
−4
Асимметрия6.522 ∗ 109.0714 ∗ 10 −5
−7.904 ∗ 10 −5−1.6 ∗ 10−4
На этапе дефаззификации сгенерированы правила для оценки качества
изображения. Определены диапазоны интегральных моментов, соответствующие
различным качествам изображения (табл. 5-7).
Таблица 5. Проект правил управления по значениям математического ожидания
Лингвистическая
Математическое ожиданиеТребуемое действие
оценка
∈ [0.005,0.01]низкоеТребуется замена оборудования
Необходимо вмешательство инженера
∈ [0,0.005]приемлемое
конструктора
Требуется ручная регулировка входных
∈ [−0.005,0]хорошее
переменных
∈ [−0.01, −0.005]отличноеСоответствует требованиям пользователя
Таблица 6. Правила управления по значениям дисперсии
ДисперсияЛингвистическая оценкаТребуемое действие
Субъективная оценка пользователя
∈ [0,0.8]Не требует вмешательства
корректна
Субъективная оценка пользователя
∈ [0.8; 1]Необходимо изменить входные данные
некорректна
Таблица 7. Правила управления по значениям асимметрии
АсимметрияЛингвистическая оценкаТребуемое действие
Предполагается
γ1k ≥ 0Не требует вмешательства
положительный тренд
ПредполагаетсяНеобходимо принять меры по
γ1k < 0
отрицательный трендрегулированию
В разделе 4 рассматривается предложенная система поддержки принятия
решений для исследования автостереоскопических дисплеев комбинированного типа
визуализации объемных изображение заданного качества, которая использует базы
данных и знаний предметной области исследования, статусных функций,
характеристик объемного изображения и автостереоскопических дисплеев.
Предложена архитектура соответствующей системы (рис. 4), которая позволяет
автоматизировать решение задач, возникающих при исследовании объемных дисплеев
и их использовании. Приведено описание разработанного алгоритма по определению
значений характеристик конструируемого автостереоскопического дисплея из
предложенного модельного ряда (рис. 5).
Рис. 4. Архитектура СППР для разработкиРис. 5. Алгоритм определения искомых
автостереоскопических дисплеевзначенийхарактеристикнаоснове
пользовательскихпредпочтенийи
конструктивных особенностей
В разделе 5 полученные результаты применения СППР использованы при
разработке различных конфигураций дисплеев.
Предложены и разработаны следующие конфигурации дисплеев:
1) универсальная мобильная насадка для создания объемного дисплея без
движущихся частей1
с использованием многослойных наклонных проецирующих
граней (рис. 8);
Рис.
38. Дисплей 1-го типа
2) универсальная мобильная насадка для создания объемного дисплея без
движущихся частей с использованием параллаксных барьеров и видеоряда из набора
чересстрочных стереопар (рис. 9);
Рис. 9. Дисплей 2-го типа
3) объемный дисплей без движущихся частей с использованием параллаксных
барьеров, чересстрочной стереопары проецируемых на наклонных гранях пирамиды
(рис. 10);
Рис. 10. 3D-модель внешнего вида дисплея 3-го типа в изометрии
4) объемный дисплей кругового обзора с вращающейся рабочей областью и
массивом проекторов (рис. 14);
5) объемный дисплей без движущихся частей с использованием
горизонтальной стереопары и оптической системы из ожерелья линз (рис. 15);
Рис. 12. Схема и макет дисплея 4-го типа
Рис. 11. Внешний вид и формируемое изображение дисплеем 5-го типа
6) дисплеи, находящиеся в разработке (рис. 12):
а) дисплей 5-го типа с заменой ожерелья из линз на оптическую систему из
матрицы линз;
б) дисплей типа 5а с заменой формы
выходного экрана на сферическую,
однако меньшим углом обзора;
в) комбинированноерешение,
совмещающее третий тип дисплея без
лентикулярного растра, а также 3 дисплея
5-го типа.
В заключении приведено краткое
описание полученных основных результатов, Рис. 16. Концепции дисплеев 5а, б, в типов
свидетельствующих о том, что цель диссертационного исследования достигнута.
В приложениях приведены свидетельства о государственной регистрации
программ для ЭВМ для математического моделирования отражающих и
преломляющих элементов оптической системы дисплеев комбинированного способа
построения объемных изображений, а также системы поддержки принятия решений.
Также приведены копии актов об использовании результатов диссертационного
исследования от СГТУ имени Гагарина Ю.А., СПбПУ, а также фирм ООО
«ИНТЕРДИСП» и ООО «ГОЛДИ С».
OCНOВНЫЕ ВЫВОДЫ И РЕЗУЛЬТAТЫ РAБOТЫ
Основным результатом работы является сокращение затрачиваемого времени на
определение требуемых характеристик входного изображения и конфигурации
оптической системы автостереоскопического дисплея комбинированного типа при
формировании объемных изображений требуемого качества. С использованием
рекомендаций СППР удалось сократить временной интервал до нескольких десятков
минут для разработки новых конфигураций, при этом ранее на процесс исследования
и изготовления дисплеев 4-го и 5-го типа затрачено 3 года.
Также в рaбoте пoлучены cледующие нoвые нaучно-технические результaты,
подтверждающие достижение поставленной цели.
1. Формализованоописание процессаформированияизображений
автостереоскопическими дисплеями на основе функционального моделирования с
использованием нотаций IDEF0 и диаграмм потока данных, а также предметной
области объемных дисплеев с использованием аппарата семантических сетей, которое
описывает множество входных характеристик опорных изображений, внешнего
возмущения системы и инструментов, необходимых для визуализации образов,
накладывающих ограничения на выходное качество изображения. Описаны
переменные двумерных изображений, характеризующих влияние на выходное
качество объемного изображения, а также переменные, характеризующие эффект
объемности выходного изображения. Описаны взаимосвязи между входными и
выходными переменными, а также показатели оценки выходных характеристик по
степени влияния на формирование у человека эффекта объемности.
2. Разработан критерий оценки качества формируемого объемного изображения
на основе статусных функций, который позволяет оценить степень отклонения
качества выходного изображения от заданного с учетом особенностей восприятия
эффекта объема отдельным пользователем. Критерий может быть использован в
системахподдержкипринятиярешенияпривыбореконфигурации
автостереоскопического дисплея.
3. Разработана система поддержки принятия решения на основе баз знаний
предметной области и статусных функций, а также базы данных области
формирования объемного изображения с использованием автостереоскопических
дисплеев, позволяет пользователям сократить время подбора уровня яркости,
цветности, контрастности, частоты кадров в секунду, двухмерных изображений,
подаваемых на вход объемных дисплеев, а также выбрать подходящую разновидность
дисплея для отображения и установить соответствующее разрешение разрешения, а со
стороны производителя разработанная СППР позволяет существенно сократить время
на производство, юстировку, расчеты и подгонку, так как полученные результаты дают
численные характеристики состава системы, в т.ч. количества линз и зеркал,
необходимую линеатуру выходной линзы
4. Разработано специальное математическое обеспечение для вычисления
оптических характеристик параболических зеркал и линзовой системы входящих в
состав автостереоскопических дисплеев, с возможностью определения значения
фокусных расстояний, линейных размеров и углов наклона, а также оценки уровня
возникающих аберраций в системе для подбора наиболее подходящего решения для
формирования изображения заданного качества.
5. Предложен модельный ряд различных конструкций автостереоскопических
дисплеев, использующих предложенный комбинированный способ формирования
объемного изображения, с учетом компьютерной и оптической обработок.
Разработанные технические решения основываются на рекомендациях, полученных с
использованием предложенной системы поддержки приятия решения, что значительно
сократило затрачиваемое время на изготовление и отладку прототипов устройств. Так,
в настоящее время предложена новая конфигурация кругового дисплея без
использования механических подвижных частей с увеличенной областью видимого
изображения,осуществляетсяразработкасоответствующегомакетадля
экспериментального исследования.
Актуальность темы. Разработка технологий, способных воспроизводить
объемные изображения позволяет повысить информативность и привлекатель-
ность информации для человека. Такой способ отображения информации иници-
ирует создание и развитие целого ряда научных направлений в различных обла-
стях: навигации, машинном проектировании, визуализации результатов лабора-
торных исследований в медицине, при моделировании трехмерных объектов в
научных исследованиях, на производстве, в компьютерных тренажерах и игро-
вой индустрии, в рекламе, развлекательных мероприятиях и т.п. [1].
Степень проработанности темы. Современные разработки в сфере
способов визуализации объемных изображений с использованием автостерео-
скопических дисплеев представлены работами отечественных ученых: Иванов
Б.Т., Барщевский Б.У., Красильников Н.Н., Компанец И.Н., Андреев А.Л., Со-
болев А.Г., Ежов В.А. и др., а также зарубежных исследователей: N. Holliman,
N. Kim, P. Hoang, M.U. Erdenebat, M.A. Alam, R. Lopez-Gulliver, Y. Shunsuke,
M. Mao. Разработка и исследование различных типов объемных дисплеев осу-
ществляется во многих компаниях из российского сегмента: Студия АртДина-
микс, NettleBox и Гефест, а также в зарубежных фирмах: Alioscopy, Apple,
3DIcon, Dimension Technologies Inc., Fraunhofer HHI, Holografika, NewSight,
StereoPixel, SeeFront, SeeReal Technologies, Spatial View Inc., Tridelity,
VisuMotion, Zero Creative (xyZ), Actuality Systems, Felix, ViZoo, Sony
Corporation и т.д.
Существует ряд проблем [2], решению которых посвящены исследова-
ния в сфере объемной визуализации. В настоящий момент демонстрация вир-
туальных компьютерных объемных объектов и объемная визуализация обста-
новки в контролируемом воздушном или подводном пространстве возможна
на основе монитора “Perspecta Spatial 3D” компании Actuality Systems, однако
в режиме только для 8 цветов и с размером изображения, не превышающим 22
см, а также требуется мощная математическая обработка изображений, огра-
ничен их размер, затруднена обработка в режиме реального времени. Далее,
круговая объемная демонстрация дизайнерских и архитектурных решений,
ориентированная на массовую неоснащенную аудиторию, возможна с исполь-
зованием 3D-дисплеев «Felix 3D» компании Felix. Однако требуется мощная
математическая обработка изображений, ограничены размер изображения и
количество цветов (не более 256), невозможна демонстрация реальных объек-
тов в режиме реального времени.
Несмотря на определенные достигнутые в процессе проведенных
научно-технических исследований успехи, существует ряд нерешенных про-
блем. К ним следует отнести исследования в сфере объемной визуализации:
демонстрация реальных объемных объектов и сцен с полным круговым обзо-
ром (360°) без применения индивидуальных средств просмотра, а также с ор-
ганизацией трансляций этих сцен для массовой аудитории в режиме реального
времени и воспроизведения качественных полноцветных динамических объ-
емных объектов разрешения Full HD или выше. Решение этих проблем услож-
няется противоречием между требуемым качеством изображения и потоком
данных, необходимым для обеспечения качественного объемного образа. Ис-
пользование вычислительных и проекционных средств на грани возможностей
современной техники обеспечивает ограниченный размер получаемого объем-
ного изображения и количество выводимых цветов в ограниченном диапазоне,
а работа в режиме реального времени затруднена или невозможна в связи с
финансовыми или технологическими ограничениями.
Это обусловливает актуальность темы диссертационного исследования,
которое соответствует приоритетным направлениям развития науки, технологий
и техники (Из Указа Президента РФ от 01.12.16 №642 «Стратегия научно-техно-
логического развития Российской Федерации: п. 20: «В ближайшие 10-15 лет
приоритетами научно-технологического развития Российской Федерации сле-
дует считать… а) переход к передовым цифровым, интеллектуальным производ-
ственным технологиям, роботизированным системам, … машинного обучения и
искусственного интеллекта;…)». Диссертационное исследование направлено на
реализацию оригинального отечественного решения в этой области, поддержан-
ного патентами (Большаков А.А., Никонов А.В. Объемный дисплей и способ
формирования трехмерных изображений / (19) RU (11) 2526901 (13) C1 // Заявка:
2013103443/28, 25.01.2013; Опубл.: 27.08.2014; Бюл. № 21 и Большаков А.А., Ни-
конов А.В., Сгибнев А.А. Объемный дисплей / RU 2718777 C2 // Заявка:
2018133095, 18.09.2018 Опубликовано: 14.04.2020 Бюл. № 11). Предложенный
способ связан с использованием комбинированного метода построения объем-
ных изображений, что позволяет в определенной степени решить вышеуказанные
проблемы.
Объектом исследования является процесс формирования объемного изоб-
ражения в автостереоскопических дисплеях с использованием комбинированного
метода построения объемных изображений.
Предмет исследования – методы и алгоритмы обработки информации в ав-
тостереоскопических дисплеях с использованием комбинированного метода по-
строения объемных изображений.
Целью работы является сокращение времени получения решений для фор-
мирования в автостереоскопических дисплеях объемных изображений требуе-
мого качества на основе комбинированного способа.
Задачи исследования. Для достижения цели диссертации необходимо ре-
шить следующие задачи:
1. Осуществить системный анализ способов и методов формирования объ-
емных изображений с использованием автостереоскопических дисплеев.
2. Сформировать критерий оценки качества объёмных изображений в систе-
мах визуализации процессов воспроизведения и восприятия 3D-изображений в ав-
тостереоскопических дисплеях.
3. Разработать систему поддержки принятия решений для исследования
процесса формирования объемных изображений в автостереоскопических дис-
плеев, в которых изображение формируется на основе комбинированного способа.
4. Разработать специальное математическое программное обеспечение для
описания процесса трассировки лучей в оптической системе автостереоскопиче-
ских дисплеев.
5. Выполнить апробацию предложенных системой поддержки принятия ре-
шений вариантов конструкций автостереоскопических дисплеев с использова-
нием технологии комбинированной компьютерной и оптической обработки опор-
ных изображений.
Методология и методы исследования основаны на системном подходе
к анализу предметной области и решению поставленных задач. Применены
методы формализации на основе функционального моделирования, математи-
ческий аппарат статусных функций.
Научная новизна.
1. Предложено формализованное описание процесса формирования
изображений с использованием автостереоскопических дисплеев на основе си-
стемного анализа характеристик основных стадий комбинированной обра-
ботки визуальной информации, отличающееся использованием диаграмм но-
таций IDEF0 и DFD (п. 2 специальности 2.3.1).
2. Предложен обобщенный критерий оценки качества восприятия и воспро-
изведения объемных изображений, формируемых автостереоскопическими дис-
плеями, отличающийся использованием аппарата статусных функций (п. 3 специ-
альности 2.3.1).
3. Разработано алгоритмическое обеспечение предложенной системы под-
держки принятия решения, отличающейся, использованием баз данных парамет-
ров автостереоскопических дисплеев, визуализации и характеристик первичных
образов, а также базы знаний предметной области автостереоскопических дис-
плеев (п. 5 специальности 2.3.1).
4. Разработано специальное математическое обеспечение для вычисления
оптических характеристик параболических зеркал и линзовой системы, входящих
в состав автостереоскопических дисплеев, использующих комбинированный спо-
соб, которое отличается возможностью определения значений фокусных расстоя-
ний, линейных размеров и углов наклона, а также оценки уровня возникающих
аберраций (п. 5 специальности 2.3.1).
Работа соответствует научной специальности: 2.3.1 «Системный анализ,
управление и обработка информации»: пункт 2 «Формализация и постановка за-
дач системного анализа, оптимизации, управления, принятия решений, обработки
информации и искусственного интеллекта»; пункт 3 «Разработка критериев и мо-
делей описания и оценки эффективности решения задач системного анализа, оп-
тимизации, управления, принятия решений, обработки информации и искусствен-
ного интеллекта»; пункт 5 «Разработка специального математического и алгорит-
мического обеспечения систем анализа, оптимизации, управления, принятия ре-
шений, обработки информации и искусственного интеллекта»; пункт 12 «Визуа-
лизация, трансформация и анализ информации на основе компьютерных методов
обработки информации и искусственного интеллекта».».
Теоретическую и методологическую основу исследования составляют
труды отечественных (Иванов Б.Т., Барщевский Б.У., Красильников Н.Н., Компа-
нец И.Н., Андреев А.Л., Соболев А.Г., Вешнева И.В. и др.) и зарубежных (Barry G.
Blundell, Adam J. Schwarz, Anas Al-Oraiqat, Evgeniy Bashkov, Sergii Zori, Ernst
Lueder, Janglin Chen, Wayne Cranton, Mark Fihn, Blundell B.G., Schwarz A. J., Nagano
K. и др.) исследователей по теории объемной визуализации, 3D-дисплеев.
Достоверность и обоснованность полученных результатов и рекомен-
даций обеспечивается апробацией результатов исследований на научных кон-
ференциях различного уровня и публикацией в печати; согласованностью дан-
ных вычислительных экспериментов с результатами, полученными натурным
моделированием; использованием результатов исследований автостереоско-
пических дисплеев в фирмах «ИНТЕРДИСП» и «ГОЛДИ С».
Теоретическая значимость. Доказана возможность применения ста-
тусных функций для описания качества формирования объемных изображе-
ний с использованием автостереоскопических дисплеях на основе комбиниро-
ванного способа построения объемных изображений
Выносимые на защиту положения и результаты. На защиту выносятся
следующие новые и содержащие элементы новизны основные положения:
1. Формализованное описание процесса формирования изображений на
основе автостереоскопических дисплеев, предложенное на основе функцио-
нального моделирования с использованием нотаций IDEF0 и диаграмм потока
данных DFD, а также предметной области объемных дисплеев с использова-
нием семантических сетей.
2. Обобщенный критерий оценки качества объемных изображений, фор-
мируемых автостереоскопическими дисплеями на основе комбинированного
способа, с использованием аппарата статусных функций для комплексного учета
объективных и субъективных характеристик воспроизведения и восприятия 3D-
изображений.
3. Разработанное алгоритмическое обеспечение предложенной системы
поддержки и принятия решения, позволяющей на основе имеющихся баз данных
параметров автостереоскопических дисплеев, визуализации и характеристик пер-
вичных образов, а также баз знаний предметной области автостереоскопических
дисплеев и поддержки принятия решений сформировать рекомендации пользова-
телям при выборе значений переменных, характеризующих качество входного
изображения, для достижения требуемых значений выходных показателей вос-
приятия и воспроизведения 3D-изображений.
4. Специальное математическое обеспечение для вычисления оптических
характеристик параболических зеркал и линзовой системы, входящих в состав ав-
тостереоскопических дисплеев, использующих комбинированный способ, с воз-
можностью определения значений фокусных расстояний, линейных размеров и
углов наклона, а также оценки уровня возникающих аберраций в системе для вы-
бора наиболее подходящего решения для формирования изображения заданного
качества.
5. Модельный ряд различных конструкций автостереоскопических дис-
плеев, использующих комбинированный метод формирования объемных изобра-
жений с учетом компьютерной и оптической обработок формируемых изображе-
ний. Разработанные технические решения основываются на рекомендациях, полу-
ченных с использованием системы поддержки приятия решений.
Практическая значимость работы заключается в следующем.
1. Разработанный критерий оценки качества формируемого объемного
изображения позволяет оценить степень отклонения качества выходного изобра-
жения от заданного с учетом особенностей восприятия эффекта объема конкрет-
ными пользователями и может быть использован в системах поддержки принятия
решений при выборе конфигурации автостереоскопического дисплея.
2. Предложенная система поддержки принятия решения на основе баз
знаний предметной области и статусных функций, а также базы данных обла-
сти формирования объемных изображений с использованием автостереоско-
пических дисплеев позволяет пользователям сократить время подбора уровня
яркости, цветности, контрастности, частоты кадров в секунду, двухмерных
изображений, которые поступают на вход объемных дисплеев, а также вы-
брать подходящую разновидность дисплея для отображения и установить со-
ответствующее разрешение, а со стороны производителя ‒ сократить время на
производство, юстировку, расчеты и побор, т.к. полученные результаты обес-
печивают численные характеристики состава системы, в т.ч. количества линз
и зеркал, необходимую линеатуру выходной линзы.
3. Программное обеспечение математического моделирования трасси-
ровки хода лучей при отражении от параболических зеркал и прохождения че-
рез линзу позволяют установить с наибольшей точностью расстояния между
оптическими элементами в системе, определить фокусные расстояния, опти-
ческую силу линз, кривизну поверхности для дальнейшего изготовления и
установки в корпусе дисплея.
4. Предложенные конфигурации объемных дисплеев с учетом рекомен-
даций системы поддержки принятия решений при выборе значений характе-
ристик качества входных изображений и конструктивных особенностей си-
стемы позволяют сформировать объемное полноцветное изображение высо-
кого разрешения, а также с пониженным трафиком передачи данных, что поз-
воляет использовать такие устройства при формировании телекоммуникаци-
онных конференций и трансляций через сеть Интернет.
Реализация и внедрение. Разработанная система поддержки принятия ре-
шения используется в фирмах ООО «ИНТЕРДИСП» и ООО «ГОЛДИ С». На ос-
нове полученных результатов осуществляются разработки по созданию дисплеев
с использованием двух параболических зеркал с углом обзора 360 градусов и ви-
димой площадью радиусом 250 мм.
Макеты изделий, полученные с использованием результатов работы СППР
и математического моделирования, установлены на территории СГТУ имени Га-
гарина Ю.А. в студенческом конструкторском бюро «Робототехника и интеллек-
туальные системы».
Результаты исследований используются в учебном процессе CПбПУ при
обучении бакалавров пo направлению подготовки «Математика и компьютерные
науки» (02.03.01 и 02.04.01) по дисциплинам «Управление проектами», «Общая
теория систем и процессов», «Методы оптимизации», а также в СГТУ имени Га-
гарина Ю.А. по направлениям подготовки 15.03.06 «Мехатроника и робототех-
ника» по дисциплинам: «Математическое моделирование в инженерных задачах»,
«Программное обеспечение инженерных и научных исследований», «Системы
управления проектами».
Апробация работы. Результаты диссертационного исследования обсужда-
лись на Международных научных конференциях ММТТ «Математические ме-
тоды в технике и технологиях»: ММТТ-32 (Саратов, 2019), ММТТ-33 (Саратов,
2020), CYBERPHY: 2020 (Казань, 2020); АПЭП «Актуальные проблемы электрон-
ного приборостроения): АПЭП-2018 (Саратов, 2020), АПЭП-2020 (Саратов, 2020).
Результаты диссертационного исследования включены в Отчет по научно-
исследовательской и опытно-конструкторской работе, поддержанной по про-
грамме «СТАРТ» Фондом содействия развитию малых форм предприятий в
научно-технической сфере (договор № 1995ГС1/26878).
Публикации. По материалам диссертационной работы опубликовано 13
печатных работ, в т.ч. 3 – в рецензируемых изданиях, рекомендованных ВАК РФ,
3 – во входящих в базу данных Scopus, получено 4 свидетельства о государствен-
ной регистрации программ для ЭВМ в Роспатенте РФ.
Личный вклад автора. Проведен системный анализ процесса визуализа-
ции объемного изображения, в т.ч. с использованием разработанных автором ма-
кетов волюметрических дисплеев [3-10]. Разработана система поддержки приня-
тия решений для выбора значения входных характеристик изображений и кон-
структивных особенностей устройства воспроизведения [11-14]. Разработано про-
граммное обеспечение для математического моделирования процесса прохожде-
ния светового пучка через оптические элементы системы дисплея [15-19].
Структура и объем диссертации. Диссертация состоит из введения, 5 раз-
делов, заключения, списка литературы и 3 приложений. Диссертационная работа
изложена на 187 печатных страниц машинописного текста, в т.ч. содержит рисун-
ков ‒ 51, таблиц ‒ 10. Список литературы включает 104 наименований.
1 ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ ТРЕХМЕРНОЙ
ВИЗУАЛИЗАЦИИ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ
АВТОСТЕРЕОСКОПИЧЕСКИХ ДИСПЛЕЕВ НА ОСНОВЕ
Основным результатом работы является сокращение затрачиваемого
времени на определение требуемых характеристик входного изображения и кон-
фигурации оптической системы автостереоскопического дисплея комбиниро-
ванного типа при формировании объемных изображений требуемого качества. С
использованием рекомендаций СППР удалось сократить временной интервал до
нескольких десятков минут для разработки новых конфигураций, при этом ранее
на процесс исследования и изготовления дисплеев 4-го и 5-го типа затрачено 3
года.
Также в рaбoте пoлучены cледующие нoвые нaучно-технические
результaты, подтверждающие достижение поставленной цели.
1. Формализовано описание процесса формирования изображений авто-
стереоскопическими дисплеями на основе функционального моделирования с
использованием нотаций IDEF0 и диаграмм потока данных, а также предметной
области объемных дисплеев с использованием аппарата семантических сетей,
которое описывает множество входных характеристик опорных изображений,
внешнего возмущения системы и инструментов, необходимых для визуализации
образов, накладывающих ограничения на выходное качество изображения. Опи-
саны переменные двумерных изображений, характеризующие влияние на выход-
ное качество объемного изображения, а также переменные, характеризующие
эффект объемности выходного изображения. Описаны взаимосвязи между вход-
ными и выходными переменными, а также показатели оценки выходных харак-
теристик по степени влияния на формирование у человека эффекта объемности.
2. Разработан критерий оценки качества формируемого объемного изобра-
жения на основе статусных функций, который позволяет оценить степень откло-
нения качества выходного изображения от заданного с учетом особенностей вос-
приятия эффекта объема отдельным пользователем. Критерий может быть ис-
пользован в системах поддержки принятия решения при выборе конфигурации
автостереоскопического дисплея.
3. Разработана система поддержки принятия решения на основе баз знаний
предметной области и статусных функций, а также базы данных области форми-
рования объемного изображения с использованием автостереоскопических дис-
плеев, позволит пользователям сократить время подбора уровня яркости, цвет-
ности, контрастности, частоты кадров в секунду, двухмерных изображений, по-
даваемых на вход объемных дисплеев, а также выбрать подходящую разновид-
ность дисплея для отображения и установить соответствующее разрешение раз-
решения, а со стороны производителя разработанная СППР позволит сократить
время на производство, юстировку, расчеты и подгонку, так как полученные ре-
зультаты дают численные характеристики состава системы, в т.ч. количества
линз и зеркал, необходимую линеатуру выходной линзы
4. Разработано специальное математическое обеспечение для вычисления
оптических характеристик параболических зеркал и линзовой системы входящих
в состав автостереоскопических дисплеев, с возможностью определения значе-
ния фокусных расстояний, линейных размеров и углов наклона, а также оценки
уровня возникающих аберраций в системе для подбора наиболее подходящего
решения для формирования изображения заданного качества;
5. Предложен модельный ряд различных конструкций автостереоскопиче-
ских дисплеев, использующих предложенный комбинированной метод форми-
рования объемного изображения, с учетом компьютерной и оптической обрабо-
ток формируемого изображения. Разработанные технические решения основы-
ваются на рекомендациях, полученных с использованием предложенной си-
стемы поддержки приятия решения.
Таким образом, разработанные макеты дисплеев с использованием реко-
мендаций от СППР доказывают, что цель диссертационного исследования до-
стигнута, а именно, благодаря разработанной СППР процесс подбора характери-
стик объемного изображения и компонентов оптической системы дисплея зна-
чительно сократился. Разработки первоначальных конфигураций комбинирован-
ных дисплеев потребовали многолетних исследований, а с использованием реко-
мендаций от СППР, процесс подбора сокращается до нескольких минут.
СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ
БД база данных
БЗ база знаний
БП база правил
ИС источник света
МА математический аппарат
ММ математическая модель
МО математическое ожидание
ОС оптическая система
ПО программное обеспечение
СППР система поддержки принятия решений
СУ система управления
СФ статусные функции
ТЗ техническое задание
ТНМ теория нечетких множеств
УУ устройство управления
ЭО экспертная оценка
ЭС экспертные системы
ПЕРЕЧЕНЬ ОСНОВНЫХ ТЕРМИНОВ
автостереоскопия: эффект формирования трехмерного изображения
без использования дополнительных средств просмотра и напряжения глаз
атмосферная перспектива: способ создания иллюзии глубины и рассто-
яния, при помощи четкости контуров объекта и светотени. Атмосферная пер-
спектива основана на идее о том, что чем ближе что-либо к зрителю, тем оно
четче и тем более контрастна его светотень. Объекты, расположенные близко
к зрителю, будут иметь больше деталей и больший диапазон оттенков, чем де-
ревья, расположенные вдалеке
бинокулярное зрение: способность формировать образ из изображений,
формирующихся в двух глазах
бинокулярная конвергенция: сведение зрительных осей при фиксации на
близко расположенном предмете. Конвергенция глаз происходит рефлекторно
при бинокулярном зрении
бинокулярные признаки: признаки, связанные с соотношением изображе-
ний или проекций объекта на сетчатки разных глаз
волюметрический (объемный) дисплей: дисплей, воспроизводящий объ-
емное изображение в виде вокселов или векторов, реально разнесенных в ра-
бочем объеме дисплея (объеме воспроизведения), четко ограниченном его
конструкцией
восприятие глубины: оценка относительной удаленности окружающих
предметов
голография: набор технологий для точной записи, воспроизведения и пе-
реформирования волновых полей оптического электромагнитного излучения,
особый фотографический метод, при котором лазером регистрируются, а за-
тем восстанавливаются изображения трехмерных объектов, в высшей степени
похожие на реальные; метод голографии предложил в 1947 году Дэннис Габор,
который «ввел в оборот» термин и в 1971 году получил Нобелевскую премию
по физике «за изобретение и развитие голографического принципа»
градиент текстуры: более крупные зёрна текстуры объекта отстоят
друг от друга дальше, если объект расположен ближе
линейная перспектива: воспринимаемые как параллельные, линии схо-
дятся концами расположенными ближе к горизонту
«мнимый» эффект объема: создании изображения, которое будет вос-
приниматься человеком как объемное за счет использования различных 3D
технологий
монокулярное зрение: восприятие окружающего мира при помощи од-
ного глаза
монокулярные признаки: признаки, влияющие на трехмерное восприя-
тие, но воспринимающиеся преимущественно лишь одним глазом (относи-
тельные размеры; градиент текстуры; взаимное расположение; линейная пер-
спектива; атмосферная перспектива; параллакс движения)
нормальная бинокулярная диспаратность: при восприятии близких
предметов наблюдается значительная диспаратность (различие), между тем
что видит правый глаз и левый глаз, для отдаленных предметов диспаратность
незначительна); при отрицательной бинокулярной диспаратности восприни-
мается иллюзия обратной перспективы, которая вводит наблюдателя в заблуж-
дение относительно взаимного расположения объектов или даже способствует
восприятию обратного рельефа объектов (выпуклое воспринимается вогну-
тым и наоборот)
параллакс движения: при смещении зрительного анализатора наблюда-
теля (например, поворот головы или перемещение всего тела вместе с голо-
вой), проекция на сетчатку объектов, расположенных дальше от наблюдателя,
смещается медленней, чем проекция ближе расположенных объектов
стереоэффект: это психофизиологический эффект интерпретации мозгом
отличающихся (из-за смещения позиции наблюдения) изображений от двух глаз
Публикации автора в научных журналах
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
5 (428 отзывов)
4.8 (105 отзывов)
4.8 (2878 отзывов)
4.5 (9 отзывов)
4.7 (46 отзывов)
5 (154 отзыва)
4.2 (25 отзывов)
4.9 (20 отзывов)
5 (285 отзывов)
