Методы и алгоритмы настройки проекционной оценки плотности вероятности случайного вектора в условиях малых выборок

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Глава 1. Обзор методов оценивания функции плотности вероятности . . . . . . . . 15
§ 1.1. Основные определения и обозначения . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
§ 1.2. Оценки проекционного типа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
§ 1.3. Ядерные оценки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
§ 1.4. Другие виды оценок . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Выводы. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35
Глава 2. Оптимизация проекционной оценки плотности вероятности . . . . . . . . 36
§ 2.1. Обоснование применимости проекционной оценки . . . . . . . . . . . . . . . . 36
§ 2.2. Методы настройки коэффициентов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
§ 2.3. Методы настройки длины ряда . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
§ 2.4. Многомерный случай . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Выводы. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .89
Глава 3. Применение оценок плотности вероятности . . . . . . . . . . . . . . . . . . . . . . . . . 91
§ 3.1. Оценивание функции регрессии. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91
§ 3.2. Классификация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
§ 3.3. Оценивание количества информации . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Выводы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

В ходе выполнения диссертационной работы были получены следующие
результаты:
– показано, что весовое гильбертово пространство 2, (Ω) может быть
использовано для построения проекционной оценки любой функции плотности
вероятности (предл. 2.4);
– найден критерий на весовую функцию (x) для расширения простран-
ства 2 (Ω) до пространства 2, (Ω), которое содержит более широкое множе-
ство функций плотности вероятности (теорема 2.4);
– предложен способ построения весовой функции (x), при котором со-
ответствующее расширение 2, (Ω) пространства 2, содержит оцениваемую
функцию плотности вероятности (x) (формула (2.9));
– предложен новый метод настройки коэффициентов проекционной оцен-
ки функции плотности вероятности случайного вектора, являющийся обобще-
нием метода моментов (формула (2.13));
– доказано, что при определённых условиях частным случаем предло-
женного обобщения является традиционный метод оценивания коэффициентов
(теорема 2.5);
– предложен новый метод оценивания длины ряда проекционной оценки, в
которой коэффициенты настраиваются методом моментов или его обобщением
(формула (2.25));
– экспериментально установлено, что на малых выборках обобщение ме-
тода моментов позволяет повысить эффективность проекционной оценки (табл.
2.5, 2.8);
– экспериментально установлено, что для прикладных задач (восстановле-
ние функции регрессии, классификация, оценка количества информации) более
предпочтительной является оценка Розенблатта – Парзена.
Также было экспериментально установлено, что условиях малых выбо-
рок метод моментов является более предпочтительным при настройке проек-
ционной оценки. В тех случаях, когда нет возможности использовать ядерные
оценки (например, ограниченные вычислительные ресурсы), целесообразно ис-
пользовать проекционную оценку, так как она не содержит всю исследуемую
выборку и допускает лаконичное математическое выражение. При этом для
настройки длины ряда рекомендуется использовать предложенный подход.
Используемый метод сравнения алгоритмов восстановления плотности ве-
роятности и полученные численные результаты могут быть также использова-
ны при сравнении эффективности любых непараметрических оценок функции
плотности вероятности.