Быстрые алгоритмы моделирования многомерных линейных регрессионных зависимостей на основе метода наименьших модулей : диссертация на соискание ученой степени кандидата физико-математических наук : 05.13.18

Актуальность темы исследования
Математическое моделирование регрессионных зависимостей по экспериментальным данным выполняется с помощью статистических методов оценки параметров моделей. Во многих случаях имеется достаточная информация об изучаемых объектах, процессах и о свойствах, действующих на них возмущений. Это позволяет воспользоваться эффективными методами оценивания неизвестных параметров с использованием классических методов максимального правдоподобия [27]. Для задачи оценивания линейных регрессионных моделей в предположении нормального распределения случайных погрешностей измерений методом максимального правдоподобия является метод наименьших квадратов (МНК) [17]. На основе МНК создана целостная система статистической обработки. С учетом простоты реализации он является наиболее распространенным статистическим методом построения зависимостей [9, 23, 30, 49, 67, 72, 91, 99, 117] и др.
Однако при построении математических моделей по экспериментальным данным, например, в задачах мониторинга и диагностики технических и экономических систем, приходится сталкиваться со стохастической неоднородностью. В математической статистике под однородной совокупностью понимают выборку из одной генеральной совокупности [2]. Строгого определения неоднородности нет. Приведем определение, предложенное С.А. Смоляком и Б.П. Титаренко [55]: «Будем считать однородной такую совокупность, элементы которой формируются под воздействием общих основных причин и условий, а их законы распределения имеют простую структуру, и неоднородной – если разные ее элементы формируются под влиянием разных причин и условий либо если она может быть представлена в виде объединения некоторого числа однородных совокупностей с более простой структурой законов распределения элементов».
6
Применительно к регрессионным моделям к основным признакам стохастической неоднородности следует отнести [55, 63]: не полное соответствие модели части наблюдений; возможное наличие в выборке резко выделяющихся наблюдений, не обязательно обусловленных ошибками измерений; зачастую не экспериментальный, не однородный характер данных; использование различных группировок и округлений; возможная зависимость результатов наблюдений.
Данные особенности при использовании классических процедур оценивания могут привести к грубым ошибкам. В этой ситуации используют устойчивые (робастные и непараметрические) методы оценивания [8, 28, 33, 35, 38, 46, 47, 52, 55- 57, 68-71, 80, 82, 84, 89, 93, 95, 98, 105, 108, 114 и др.]. Однако эти методы проигрывают МНК в быстродействии. Поэтому актуальным направлением исследований является повышение вычислительной эффективности регрессионного моделирования по экспериментальным данным в условиях стохастической неоднородности.
Степень разработанности темы исследования
В основе устойчивого регрессионного моделирования лежит метод наименьших модулей (МНМ) [36, 81, 109], также называемый l1–аппроксимацией. Важной особенностью МНМ является его детерминированный характер, т.к. здесь не требуется привлечения гипотез о вероятностных свойствах изучаемых явлений [4].
Первые упоминания о МНМ связываются с работами Р. Босковича (R.J. Boscovich) [88] и П.С. Лапласа (P.–S. de Laplace) [96] второй половины XVIII века. Из современных исследований в области l1–аппроксимации отметим работы М.В. Болдина, Г.И. Симоновой и Ю.Н. Тюрина [8], В.И. Мудрова и В.Л. Кушко [36], А.В. Панюкова [43], И.Б. Челпанова [47], П. Блумфилда (P. Bloomfield) и У. Стейгера (W.L. Steiger) [81], Д. Биркеса (D. Birkes) и Я. Додже (Ya. Dodge) [86], Г. Бассета (G. Basset) и Р. Коенкера (R. Koenker) [79], Д. Полларда (D. Pollard) [106] и др.

7
Вопросы алгоритмической реализации МНМ в линейном регрессионном моделировании рассматривались в работах А.И. Матасова и П.А. Акимова [4, 5, 32], С.И. Зуховицкого и Л.И. Авдеевой [21], В.И. Мудрова и В.Л. Кушко [36], А.Н. Тырсина [62], Р. Армстронга (R.D. Armstrong) и Д. Кунга (D.S. Kung) [77], А. Барродейла (I. Barrodale) и Ф. Робертса (F.D.K. Roberts) [78], Е. Вейсфельда (E. Weiszfeld) [115], Г. Весоловски (G. O.Wesolowsky) [116], С. Нарула (S.C. Narula) и Дж. Веллингтона (J.F. Wellington) [100], В. Фишера (W.D. Fisher) [90] и др.
Используемая при оценивании параметров регрессии функция потерь либо является модулем, либо функцией от модуля [3, 13, 76, 94, 107]. При оценивании пространственных линейных регрессионных моделей обычно удается ограничиться МНМ–оценками или оценками, использующими выпуклые функции потерь. Однако одностороннее засорение экспериментальных данных и включение в состав независимых переменных временных лагов от выходной переменной приводит к смещению и неустойчивости МНМ–оценок [8, 63]. С целью устранения этих недостатков используют оценки с функциями потерь, имеющими горизонтальную асимптоту [3]. Непосредственное использование выпукло–вогнутых функций потерь приводит к появлению множества неизвестных локальных минимумов у целевой функции, что затрудняет поиск глобального минимума. Этот недостаток можно устранить за счет использования в качестве начального приближения вектора параметров модели его МНМ–оценки или оценки, полученной с помощью обобщенного метода наименьших модулей (ОМНМ) [63]. Отметим, что ОМНМ можно непосредственно использовать для устойчивого оценивания моделей.
Известные точные алгоритмы реализации МНМ и ОМНМ являются достаточно эффективными лишь для малых размерностей моделей и ограниченного объема выборок, а приближенные алгоритмы имеют ограниченную точность, поскольку требование увеличения точности приводит к резкому росту их вычислительных затрат. Это существенно затрудняет использование данных методов в динамических

8
задачах мониторинга и диагностики. Поэтому в таких приложениях алгоритмы моделирования за ограниченное время и с приемлемой для практического использования точностью представляют значительный интерес. Отметим, что вопрос о сходимости приближенных алгоритмов остается открытым [4].
Таким образом, актуальны разработка единого подхода к вычислительно эффективному моделированию многомерных линейных регрессионных зависимостей в условиях стохастической неоднородности на основе МНМ и ОМНМ, не имеющих ограничений на порядок моделей и объем экспериментальных данных и проведение исследований для его теоретического обоснования.
Цели и задачи исследования
Целью работы является разработка и теоретическое обоснование нового подхода к вычислительно эффективному моделированию многомерных линейных регрессионных зависимостей в условиях стохастической неоднородности, а также создание на его основе комплекса алгоритмов и программ реализации метода наименьших модулей и обобщенного метода наименьших модулей.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Предложить и исследовать новый подход для вычислительно эффективного моделирования многомерных линейных регрессионных зависимостей на основе методов наименьших модулей и обобщенных наименьших модулей.
2. Разработать и исследовать алгоритмы вычислительно эффективного моделирования многомерных линейных регрессионных зависимостей на основе методов наименьших модулей и обобщенных наименьших модулей.
3. Выполнить анализ вычислительной трудоемкости предложенных алгоритмов и провести их сравнение с известными результатами.
4. Разработать комплекс проблемно–ориентированных программ для проведения вычислительных экспериментов с целью исследования эффективности предложенных алгоритмов моделирования многомерных линейных регрессионных зависимостей.

9
Научная новизна
В области математического моделирования:
1. Впервые установлена закономерность, позволяющая осуществлять моделирование многомерных линейных регрессионных зависимостей методом наименьших модулей локально – посредством спуска по узловым прямым. На основе этого предложен новый подход к вычислительно эффективному математическому моделированию многомерных линейных регрессионных зависимостей в условиях стохастической неоднородности, основанный на спуске по узловым прямым.
2. Предложенный подход к моделированию многомерных линейных регрессионных зависимостей, основанный на спуске по узловым прямым, реализован для обобщенного метода наименьших модулей. Установлена закономерность сокращения числа рассматриваемых возможных решений с увеличением размерности данных и числа наблюдений, позволившая обеспечить вычислительную эффективность моделирования линейных регрессионных зависимостей обобщенным методом наименьших модулей.
3. Установлено, что обобщенный метод наименьших модулей при некоторых ограничениях можно распространить и на случай моделирования многомерных нелинейных регрессионных зависимостей.
В области численных методов:
1. Разработаны вычислительно эффективные алгоритмы для моделирования многомерных линейных регрессионных зависимостей методом наименьших модулей. 2. Доказана сходимость предложенных алгоритмов оценивания параметров многомерных линейных регрессионных моделей методом наименьших модулей к
точному решению за конечное число шагов.
3. Разработан вычислительно эффективный алгоритм моделирования линейных
зависимостей методом обобщенных наименьших модулей.

10
4. Выполнен анализ вычислительной трудоемкости разработанных алгоритмов моделирования многомерных линейных регрессионных зависимостей.
В области комплексов программ:
1. Разработан программный комплекс, позволяющий: проводить вычислительные эксперименты как на модельных, так и на реальных данных с целью исследования эффективности предложенных алгоритмов оценивания многомерных линейных регрессионных моделей; применять и строить линейные модели с помощью разработанных алгоритмов для проведения вычислительных экспериментов; в качестве платформы для реализации разработанных алгоритмов используется язык программирования R.
2. С помощью разработанного комплекса программ решено несколько задач моделирования в технике и экономике.
Теоретическая и практическая значимость работы
Значимость диссертационного исследования обусловлена решением актуальных задач моделирования многомерных линейных регрессионных зависимостей в условиях стохастической неоднородности с применением современного математического аппарата. Полученные результаты развивают теорию моделирования регрессионных зависимостей на основе метода наименьших модулей. Разработанные алгоритмы моделирования реализуют общую идею спуска по узловым прямым и превосходят по вычислительной эффективности все известные аналоги. Алгоритмическая реализация в рамках предложенной идеи спуска по узловым прямым обобщенного метода наименьших модулей позволяет моделировать авторегрессионные зависимости. Наряду с высоким быстродействием они обладают достаточно простой структурой.
Использование разработанных алгоритмов и программ позволит существенно снизить вычислительные затраты при практическом моделировании реальных систем и явлений в виде регрессионных зависимостей. Представленные результаты

11
вычислительных экспериментов свидетельствуют об адекватности проведенного математического моделирования и эффективности подхода на основе спуска по узловым прямым для дальнейшего его развития в технике и экономике в задачах диагностики систем и объектов в различных предметных областях в режиме реального времени.
Методология и методы диссертационного исследования
Объектом исследования являются многомерные линейные регрессионные модели, параметры которых оцениваются в условиях стохастической неоднородности экспериментальных данных.
Предметом исследования является единый подход к построению алгоритмов моделирования многомерных линейных регрессионных зависимостей в условиях стохастической неоднородности и его теоретическое обоснование.
Для решения поставленных задач в работе используются методы математического моделирования, математической статистики, теории случайных процессов, статистических испытаний Монте–Карло, матричной алгебры, численных методов решения экстремальных задач, линейного программирования.
Для программной реализации предложенных методов и алгоритмов были применены современные информационные технологии и средства программирования. Был разработан программный комплекс в среде RStudio с применением языка программирования R.
Положения, выносимые на защиту
На защиту выносятся результаты, соответствующие четырем пунктам паспорта специальности 05.13.18 – «Математическое моделирование, численные методы и комплексы программ» по физико-математическим наукам:
В части «Разработка новых математических методов моделирования объектов и явлений»:

12
1. Разработан новый подход к математическому моделированию многомерных линейных регрессионных зависимостей в условиях стохастической неоднородности методом наименьших модулей, основанный на спуске по узловым прямым.
В части «Развитие качественных и приближенных аналитических методов исследования математических моделей»:
1. Аналитически и с помощью метода статистических испытаний исследованы методы моделирования многомерных линейных регрессионных зависимостей в условиях стохастической неоднородности экспериментальных данных; установлена закономерность, состоящая в вычислительно эффективном нахождении параметров математических моделей с помощью спуска по узловым прямым.
2. Повышение вычислительной эффективности моделирования линейных зависимостей на основе метода обобщенных наименьших модулей с помощью спуска по узловым прямым за счет установленной закономерности сокращения числа рассматриваемых возможных решений при использовании предложенного подхода.
3. Установлены классы многомерных нелинейных регрессионных зависимостей, для которых можно применять обобщенный метод наименьших модулей для вычислительно эффективного моделирования.
В части «Разработка, обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий»:
1. Разработаны вычислительно эффективные алгоритмы оценивания параметров линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым.
2. Установлена сходимость разработанных алгоритмов оценивания параметров многомерных линейных регрессионных моделей методом наименьших модулей к точному решению за конечное число шагов.

13
3. Разработан вычислительный алгоритм оценивания параметров линейных моделей методом обобщенных наименьших модулей на основе спуска по узловым прямым.
4. Выполнен анализ вычислительной трудоемкости предложенных алгоритмов, основанный на сочетании математических методов матричной алгебры и комбинаторики с современными технологиями математического моделирования, вычислительного эксперимента и статистических испытаний.
В части «Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно–ориентированных программ для проведения вычислительного эксперимента»:
1. Разработан комплекс проблемно–ориентированных программ для проведения вычислительных экспериментов с целью исследования эффективности предложенных алгоритмов оценивания параметров многомерных линейных моделей, написанный на языке программирования R.
2. Поведены вычислительные эксперименты, подтверждающие эффективность предложенных алгоритмов по сравнению с известными решениями и адекватность проведенного моделирования.
Степень достоверности результатов
Достоверность и обоснованность полученных результатов обеспечены математической строгостью постановки задач, корректным использованием математического аппарата и методов математического моделирования, согласованием результатов вычислительных экспериментов с модельными примерами, решением большого количества тестовых задач и практическим применением разработанного комплекса программ. Адекватность математической модели подтверждалась примерами ее использования. Полученные в работе результаты и выводы согласуются с результатами других авторов. Все результаты, выносимые на защиту, опубликованы.

14
Апробация результатов
Теоретические и практические результаты исследований диссертационной работы докладывались на следующих конференциях: 2–я научно–техническая конференция молодых ученых Уральского энергетического института (Екатеринбург, 2017), XI Международная школа–симпозиум «Анализ, моделирование, управление, развитие социально–экономических систем» (Симферополь–Судак, 2017), XVIII Всероссийский Симпозиум по прикладной и промышленной математике (Сочи, 2017), XIX Всероссийский Симпозиум по прикладной и промышленной математике (Санкт– Петербург, 2018), 12–я международная конференция «Новые информационные технологии в исследовании сложных структур» (Алтайский край, пос. Катунь, 2018). Также результаты работы обсуждались на научном семинаре Уральского федерального университета имени первого Президента России Б.Н. Ельцина (УрФУ) «Модели и методы оптимизации, оценивания данных и управления в технических и экономических системах» под руководством д.ф.-м.н. А.Ф. Шорикова (Екатеринбург, 2018), научном семинаре отдела математического программирования Института математики и механики им. Н.Н. Красовского УрО РАН под руководством д.ф.-м.н. М.Ю. Хачая (Екатеринбург, 2018) и семинарах кафедры прикладной математики УрФУ (Екатеринбург, 2016–2018).
Работа выполнялась в соответствии с планами научно–исследовательских работ по грантам РФФИ No 16–06–00048 и No 17–01–00315.
Комплекс из трех программ, предназначенный для моделирования и исследования регрессионных зависимостей с помощью МНМ и ОМНМ, зарегистрирован в Федеральной службе по интеллектуальной собственности (РОСПАТЕНТ).
Публикации. По теме диссертации опубликовано 18 работ [118-135], в том числе 6 статей в рецензируемых научных изданиях и журналах, рекомендованных ВАК
Минобрнауки РФ [124, 126, 132-135], из которых одна включена в наукометрические

15
базы MathSciNet и Zentralblatt MATH [135], одна – в Zentralblatt MATH [132] и одна – в GeoRef и Chemical Abstracts [126], глава монографии [123] и 3 свидетельства о государственной регистрации программ для ЭВМ [127, 129, 130].
Личное участие автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Из работ, выполненных в соавторстве, в диссертацию вошли только результаты, полученные ее автором. Все результаты диссертационной работы, в том числе разработка, исследование и обоснование математических моделей и методов их исследования, разработка комплекса компьютерных моделей и экспериментальных методик, доказательство всех утверждений, проведение численных расчетов и моделирования, получены лично автором диссертации. Научным руководителем предложены постановки задач.
Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения, списка литературы и приложений. Полный объем составляет 148 страниц, включая 21 рисунок, 27 таблиц, список литературы из 135 наименований и 3 приложения.