Постпроцессинг численных прогнозов приземных метеорологических параметров на основе нейросетевых методов

Несмотря на все успехи применения численного моделирования атмосферы для задачи прогноза погоды, пользователи метеопрогноза могут быть неудовлетворены прогнозом численной модели прогноза погоды (далее ЧМПП) по двум основным причинам: а) если в прогнозе не представлена (или представлена в неудовлетворительной форме) интересующая пользователя информация о погоде; б) если ошибки предоставленных прогнозов велики.
Актуальность темы исследования
Уменьшить эти недостатки можно, применяя методы статистической интерпретации (постпроцессинга) ЧМПП. Задачи по интерпретации ЧМПП условно можно разделить на две группы согласно устраняемым недостаткам ЧМПП: а) задачи, целью которых является прогноз метеорологических параметров, отсутствующих в прогнозе ЧМПП; б) задачи коррекции, целью которых является улучшение качества прогноза ЧМПП.
Задачи первой группы могут решаться в двух концепциях [244]: либо в так называемой концепции точного прогноза (perfect prognosis), когда параметры постпроцессинга настраиваются по данным наблюдений или по данным из полей анализа, а при оперативном использовании вместо этих данных на вход ему подаются прогностические данные; либо в концепции model output statistic (MOS), когда параметры метода постпроцессинга сразу настраиваются по данным прогноза ЧМПП.
Цель задачи коррекции – вычислить поправки, улучшающие качество прогностической продукции, выдаваемой ЧМПП. Задача коррекции может решаться только в концепции MOS с использованием статистических методов, в том числе методами машинного обучения (МО). Для её решения необходимо иметь соответствующий архив данных.
Задача коррекции была и остается актуальной, поскольку в любой ЧМПП используется множество физических и вычислительных допущений, без которых было бы невозможно рассчитать прогноз к требуемому времени. Тем не менее, эти допущения могут существенно повлиять на качество прогноза для конечного пользователя. Для постановки математической задачи интерпретации (постпроцессинга) прогноза ЧМПП необходим архив данных наблюдений, также разумный и строго сформулированный заданный критерий качества.
Концепция точного прогноза имеет существенный недостаток: прогноз ЧМПП может иметь статистическую структуру, отличающуюся от статистической структуры используемых при настройке параметров данных наблюдений или анализа. Поэтому предварительное применение коррекции может улучшить прогноз, разработанный в концепции точного прогноза. Любой метод статистической интерпретации ЧМПП и принимает на вход некоторый набор предикторов, в том числе параметры, прогнозируемые ЧМПП (direct model output) и
применяет к ним некоторую линейную или нелинейную функцию (модель МО).
Применение линейных моделей МО не гарантирует достижения наилучшего возможного решения задачи интерпретации, но они сравнительно просты, общеприняты и наиболее разработаны. Существенно улучшить качество прогнозов линейных моделей возможно лишь, конструируя новые предикторы (так называемая задача feature engineering), что требует ручной работы специалиста. Конструирование новых предикторов часто улучшает качество прогноза и
при применении нелинейных моделей МО [227].
Линейные модели МО в метеорологии применяются традиционно [16], [67], [46], а также
разрабатываются традиционно различные нелинейные предикторы (индексы) поэтому вопрос о преимуществе новых нелинейных моделей МО над линейными остается актуальным.
Объект и предмет исследования
Объект исследования – погрешности прогностических полей ЧМПП.
Предмет исследования – моделирование поправок к полям ЧМПП нейронными сетями.
Цель исследования
Основной целью диссертационной работы является разработка основанного на применении нейросетевых методов нового автоматизированного комплекса постпроцессинга выходной продукции одной или нескольких численных прогностических моделей с учетом последних наблюдений (за период длительностью T) приземных метеорологических величии на синоптических станциях. Необходимо, чтобы разработанный комплекс:
o былприменимвслучаяхчастичногоотсутствияпрогностическойинформацииивслучаях отсутствия (отбраковки алгоритмом контроля качества) части данных наблюдений за период T;
o обеспечивал получение прогностических данных в местах расположения синоптических станций и в узлах модельной сетки;
o уточнял результаты численных прогнозов погоды;
o мог работать в оперативном режиме на доступных вычислительных системах. Задачи исследования
Были сформулированы и решены с применением нейросетевых методов следующие задачи:
 систематическая коррекция (комплексификация) прогнозов приземных метеорологических параметров в местах расположения синоптических станций; поправка вычисляется как результат применения к известным погрешностям (за период длительностью T) прогнозов модели (моделей) нелинейного оператора, коэффициенты которого вычисляются нейронной сетью;
 определение поправок к прогнозам ЧМПП, учитывающий сдвинутые по начальному сроку и заблаговременности прогнозы;
 реализована квазилинейная неоднородная оптимальная интерполяция (КНОИ) по горизонтальным координатам для вычисления поправок к прогностическим полям приземных метеорологических параметров в точках модельной сетки; КНОИ использует нейронные сети для учёта неоднородностей полей поправок;
 оптимизация параметров нейронных сетей, использованных в предложенном постпроцессинге приземных прогностических полей одной и нескольких ЧМПП;
 сравнение различных конфигураций предлагаемого постпроцессинга;
Предложенный постпроцессинг протестирован в непрерывном режиме счета и на большом статистически независимом архиве. Получены сравнительные оценки качества прогнозов, составляемых путем применения предлагаемого постпроцессинга и других известных методов.
Причины выбора именно квазилинейных методов пояснены в первой главе, параграф 1.3.4.
Методология и методы исследования
Для решения сформулированных в диссертационной работе задач использованы теоретические результаты и методы линейной алгебры, математического анализа, функционального анализа, интерполяции, оптимизации, математической статистики и теории вероятностей, теории случайных полей, статистической обработки больших данных, нейронных сетей и машинного обучения, а также методы структурного и объектно-ориентированного программирования и различные методики оценки качества метеорологических прогнозов. Использованы архивы прогнозов различных ЧМПП в точках синоптических станций и архивов наблюдений на синоптических станциях (используемые архивы описаны во второй части главы 2).
Сформулируем основную задачу машинного обучения (МО) – подробнее задача и её
решение методом нейронных сетей рассмотрены в главе 1. Применение МО возможно при
наличии достаточно большого архива данных из M реализаций вектора (тензора) предикторов 
Xinput,j,j1,…,M размерности N0 каждый, которые будут известны в момент составления 
прогноза и соответствующие им результаты наблюдений X fact, j . Допустим, что заданы:

а) параметрическое семейство моделей МО X pred  F Xinput , , где Xinput – аргументы n
(предикторы);     – параметры, которые будем оптимизировать; X pred – предсказание модели;

б) функция потерь eX fact , X pred  – функция, выпуклая вверх по второй переменной; 
тогда имеет смысл задача минимизации штрафного функционала L  , вычисляемого как
среднее значение функции потерь e по архиву: 1M
L eX
    fact,j
,FX , min, (1.1)  input,j  
M j1
Оптимизационная задача (1.1) называется задачей машинного обучения с учителем или

обучением модели F Xinput , . Выделим четыре основных подхода к построению моделей МО:
1. Линейный подход: модель – линейная [244];
2. Решающие деревья: модель – кусочно-постоянная [206], [114];
3. Нейронные сети: модель – нейронная сеть [215], [51], [85], [108];
4. Генетическое программирование: модель – композиция некоторых заранее заданных
«элементарных» функций [173], [174].

В линейном подходе функция F Xinput ,  линейна по обеим переменным:   T
FXinput, Xinput. Рассмотрим в качестве функции потерь квадрат евклидова расстояния между предсказанными и фактическими значениями e  X fact  X pred L , тогда задача (1.1) является классической задачей линейной регрессии, которая может быть решена методом
наименьших квадратов.


1. модель МО параметрам  ;
непрерывна
по обеим
переменным
и кусочно-гладка по
F Xinput ,  
 
Некоторые модели МО допускают наличие пропусков некоторых компонент Xinput в некоторых реализациях. Например, применим метод наименьших квадратов: для его применения
достаточно оценить положительно определенную ковариационную матрицу, а при отсутствии

части Xinput решать систему линейных алгебраических уравнений (СЛАУ) на коэффициенты
линейной регрессии с соответствующим минором ковариационной матрицы. Отметим, что оценка ковариационной матрицы по неполным данным может приводить к вырожденной или плохо обусловленной ковариационной матрице [45].
При постпроцессинге применяются решающие деревья [90], [91], делаются (причем, не всегда удачные [139], [194]) попытки применения ансамблей решающих деревьев. В последнее время все более применение находят применение и нейронные сети [180], [209], [28], [235].
Чтобы обучать модели с большим количеством параметров (большой размерностью вектора параметров n ) на больших архивах данных необходимо применять эффективные
методы обучения, например методы градиентного спуска [68], [37], [63]. Если выполнены условия:

2. градиент  F Xinput ,  равномерно ограничен во всей рассматриваемой области в пространстве параметров;

3. функция потерь eX fact , X pred  непрерывна и кусочно-гладка по второму аргументу, 
то для оптимизации функционала L   можно использовать различные варианты метода градиентного спуска (градиентный метод МО). При нелинейном градиентном МО наиболее

эффективными оказываются модели МО F Xinput , :
а) основанные на ансамблях деревьев решений [114], которые кусочно-постоянны по первому аргументу;
б) использующие нейронные сети [85], [108], которые кусочно-гладки по обоим аргументам. Опишем некоторые преимущества и недостатки различных способов построения моделей МО и тем самым обоснуем наш выбор нейронных сетей. Более подробно выбор нейронных сетей
обоснован в 3 части первой главы. Решающие деревья широко применяются при прогнозировании явлений погоды. Например, в [90] при прогнозе метеорологических условий для авиации для каждого аэропорта строится своё решающее дерево.
В последние годы методика решающих деревьев была существенно усовершенствована и стали рассматриваться ансамбли решающих деревьев, например, случайный лес и градиентный бустинг над решающими деревьями (gradient boosting decision trees) [114], [184]. При градиентном бустинге обучение деревьев происходит поэтапно, а именно каждое следующее дерево обучается на погрешностях ансамбля деревьев, построенного на предыдущем шаге алгоритма. Существенным недостатком метода решающих деревьев для его применения в метеорологии является отсутствие достаточно проработанных подходов к обработке временных рядов и полей.
И нейронные сети, и градиентный бустинг над решающими деревьями, как правило,

обучаются методом градиентного спуска, и функционал качества L   в процессе обучения
убывает достаточно быстро.
При генетическом программировании модель МО строится как композиция некоторых
заранее заданных «элементарных» функций. Преимущества генетического программирования: быстрое применение найденной модели; отсутствие переобучения; отсутствие ограничений на оптимизируемый функционал и рассматриваемые элементарные функции. Последнее означает, что возможна оптимизация разрывных (кусочно-постоянных) функционалов качества и моделей. Недостатки: обучение происходит генетическим алгоритмом [173], который является алгоритмом перебора с применением различных эвристик, что делает процесс обучения чрезвычайно затратным с вычислительной точки зрения (хотя он очень хорошо распараллеливается).
Поскольку существующие ЧМПП основаны на решении дифференциальных уравнений в частных производных в предположении гладкости метеорологических полей, то применение разрывной модели решающих деревьев зачастую возможно лишь при постпроцессинге. Из нелинейных подходов наибольшей популярностью в метеорологии пользуются нейронные сети [180], [235], которые обеспечивают непрерывность (гладкость) модели МО и хорошо подходят для обработки больших объемов информации. Кроме того, нейронные сети позволяют легко обучать квазилинейные методы, применимые в том числе и при отсутствии информации о некоторых из предикторов (параграф 1.3.4).
Учитывая вышесказанное (более подробное обоснование приведено в третьей части главы 1), по мнению диссертанта, наиболее перспективным из подходов к построению моделей машинного обучения в метеорологии является подход нейронных сетей. Научная новизна
В диссертационной работе получены следующие новые научные результаты:
 Использование нейронных сетей для вычисления коэффициентов систематической коррекции по сравнению систематической коррекцией с экспоненциально убывающими весами уменьшает среднюю погрешность прогнозов приземной температуры воздуха на
величину, эквивалентную уменьшению заблаговременности на 1 сутки (глава 2);
 Разработан автоматизированный метод коррекции с помощью нейронных сетей (КНС, глава 3) для расчета нелинейных поправок к прогностическим полям. КНС учитывает индивидуальные параметры для каждой синоптической станции и сдвинутые по начальному сроку и заблаговременности прогнозы. Определены оптимальные гиперпараметры метода КНС для различных корректируемых метеорологических
параметров, прогнозируемым по различным методам;
 Предложен метод двумерной квазилинейной неоднородной анизотропной оптимальной
интерполяции (КНОИ, глава 4). КНОИ применяет к известным значениям интерполируемого поля квазилинейный оператор, коэффициенты которого вычисляются методом оптимальной интерполяции [36] после вычисляемого нейронной сетью вложения рассматриваемой двумерной области на поверхности Земли в пространство бо̀льшей размерности. КНОИ по сравнению с обычной однородной оптимальной интерполяцией позволило объяснить (в 1.5 и более раз) большую часть дисперсии найденных ранее поправок в точках синоптических станций.
Положения, выносимые на защиту
1. Новая алгоритм систематической коррекции прогнозов приземных метеорологических параметров для вычисления поправок путем применения оператора с коэффициентами, вычисляемыми нейронной сетью, к известным погрешностям численной модели.
2. Новый алгоритм комплексификации прогнозов нескольких численных моделей, основанный на методе нейронных сетей.
3. Новый алгоритм квазилинейной неоднородной оптимальной интерполяции (КНОИ) инкрементов приземных метеорологических параметров. Алгоритм КНОИ реализует метод оптимальной интерполяции с корреляционной функцией, зависящей от расстояния не в геометрическом пространстве, а в линейном пространстве большей размерности. Вложение в пространство большей размерности вычисляется нейронной сетью и учитывает предикторы неоднородности (в том числе поля первого приближения). Этот учет предикторов неоднородности позволяет объяснить бо̀льшую часть дисперсии интерполируемого поля.
Практическая значимость работы
Предлагаемый автоматизированный комплекс постпроцессинга применяется в повседневной практике и результаты публикуются на интернет-сайтах (примеры продукции, использующей прогнозы, рассчитанные по предлагаемым постпроцессингом, представлены в приложении Б):
o методического кабинета ФГБУ «Гидрометцентр России» (далее Гидрометцентр России) http://method.meteorf.ru/ansambl/ansambl.html для населенных пунктов России и Беларуси. Прогнозы с заблаговременностью до 96 ч доступны в виде карт по каждому из регионов РФ, а для некоторых населенных пунктов – в виде метеограмм с заблаговременностью до 144 ч;
o проектавсемирнойметеорологическойорганизации(ВМО)попрогнозированиюсуровых погодных условий в Центральной Азии http://swfdp-ca.meteoinfo.ru/prognozy/mmforecasts для населенных пунктов Центральной Азии в виде метеограмм;
o Численных прогнозов погоды для метеорологического обеспечения http://u2019.meteoinfo.ru/services на метеограммах прогнозов по модели COSMO-Ru в конфигурациях COSMO-Ru6ENA и COSMO-RuBy демонстрируются графики поправленных прогнозов температуры и точки росы на высоте 2 м;
o «О погоде для специалистов» Гидрометцентра России https://special.meteoinfo.ru/ для населенных пунктов России в разделах «метеограммы» (дублируются метеограммы с сайта методического кабинета и с сайта численных прогнозов погоды для метеорологического обеспечения) и «прогнозы по пунктам».
Качество этих прогнозов оперативно оценивается, и их результаты оперативно публикуются на сайте методического кабинета Гидрометцентра России. Полученные оценки качества полученных прогнозов максимальной дневной и минимальной ночной температур превосходят соответствующие оценки качества прогнозов синоптиков УГМС.
Имеются отзывы, положительно отмечающие полезность и качество представляемых на сайте методического кабинета Гидрометцентра России прогнозов от синоптиков Приволжского УГМС, Саратовского ЦГМС, Читинского ГМЦ, Ульяновского ЦГМС, Дальневосточного УГМС, Мурманского УГМС, Владимирского ЦГМС (приложение В).
Личный вклад автора
Все представленные в диссертации результаты получены лично автором. Автор лично предложил и реализовал в программном виде предлагаемые методы и провел их отладку, обучение, валидацию, тестирование и организовал работу в автоматизированном режиме.
Апробация работы
Основные положения и результаты диссертации докладывались и обсуждались на международных и российских научно-технических конференциях и семинарах:
1. «М.А.Петросянц и отечественная метеорология» в 2009 и 2019 годах.
2. Научная сессия Совета РАН по нелинейной динамике в 2009, 2011, 2014, 2016, 2019 годах.
3. XXVIII International Conference on Mathematical Geophysics “Modelling Earth Dynamics:
Complexity, Uncertainty and Validation” в 2010 году.
4. European Geophysical Union General Assembly в 2011 году.
5. XX Всероссийская конференция «Теоретические основы и конструирование численных
алгоритмов решения задач математической физики» в 2014 году.
6. XVI Всероссийская открытая конференция «Современные проблемы дистанционного
зондирования земли из космоса» в 2016 году.
7. The China-Russia Conference on Numerical Algebra with Applications (CRCNAA) в 2017
году.
8. Вторая научно-практическая конференция «Современные информационные технологии в
гидрометеорологии и смежных с ней областях» в 2017 году.
9. V Международная научная конференция «Региональные проблемы дистанционного
зондирования Земли» в 2018 году.
10. Вторая Всероссийская научная конференция с международным участием «Применение
средств дистанционного зондирования Земли в сельском хозяйстве» в 2018 году.
11. Семинар в главной геофизической обсерватории им. А.И.Воейкова в 2018 году.
12.Межвузовская научно-техническая конференция студентов, аспирантов и молодых
специалистов им. Е.В. Арменского в 2019 и 2021 годах.
13. COSMO General Meeting в 2020 году.
14. International Conference on Computer Simulation in Physics and beyond в 2020 году.
15. ICON/COSMO/CLM/ART User Seminar (ICCARUS) в 2020 и 2021 годах.
16. Семинар лаборатории вычислительного интеллекта Сколковского института науки и
технологий в 2021 году.
Публикации
Основные результаты по теме диссертации изложены в 16 научных работах, 6 из которых изданы в периодических научных журналах, рекомендованных ВАК и индексируемых в базе данных Scopus; 1 — в материалах конференций; 5 — в сборниках тезисов конференций.
Разработки по теме исследования
Методы машинного обучения в общем (и, в частности, нейронные сети) рассматривались многими авторами для задач постпроцессинга полей приземных метеорологических параметров. Статистическая структура метеорологических полей изучалась при помощи разложений метеорологических полей на естественные ортогональные составляющие (ЕОС) [16], [65], [55], [59], [57]. Так как коэффициенты разложения на первые ЕОС более устойчивы к шумам, чем исходные метеорологические поля, то получающиеся на их основе статистические прогнозы
метеорологических величин в некоторых случаях оказываются точнее [244], [67], [46].
Хотя использование ЕОС не позволяет выйти из класса линейных моделей МО, устойчивость метода разложения на ЕОС позволяет искать параметры, индивидуальные для отдельных групп случаев, например, для отдельных регионов, временных периодов или
синоптических ситуаций.
Опишем сначала преимущества использования именно нейронных сетей с теоретической
точки зрения, а затем перейдём к описанию конкретных результатов.
Нейронные сети являются гладкой (кусочно-гладкой) моделью МО. Любую непрерывную
функцию на n-мерном кубе можно приблизить нейронной сетью в метрике C [128], [254], параграф 1.1.3. Нейронные сети с вычислительной точки зрения хорошо подходят для обработки большого объёма данных и не предполагают, что значения исследуемых параметров распределены согласно какому-то вероятностному распределению.
Нейронные сети типа автокодировщик (autoencoder) [113], [208] являются нелинейным обобщением идеи ЕОС. Последовательное рассмотрение нескольких автокодировщиков приводит к так называемым глубоким нейронным сетям [156], [109].
Большой обзор применения МО в задачах прогноза погоды сделан в книге [180], а в задачах постпроцессинга ЧМПП – в недавнем обзоре [235]. Приведем некоторые результаты по коррекции прогнозов ЧМПП.
В [209] предлагается для коррекции среднего и разброса ансамблевых прогнозов использовать нейронные сети с индивидуальными параметрами для каждой синоптической станции (так называемые Embeddings). Использовались данные с 537 синоптических станций на территории Германии. Показано, что добавление Embedding улучшает качество ансамблевых прогнозов приземной температуре воздуха c заблаговременностью 48 ч в метрике continuous ranked probability score (CRPS) на 10%: с 0.9 OC до 0.82 OC.
В [150] предложено использовать свёрточные нейронные сети (convolution neural network, CNN) специальной конфигурации U-net [214] для коррекции среднего и разброса ансамблевых прогнозов с заблаговременностью 48 ч. Прогнозы сравнивались с полями анализа. При количестве членов ансамбля от 1 до 9 применение коррекции эквивалентно уменьшению количества членов ансамбля на 1-2, например, качество откорректированного прогноза с 8 членами близко к качеству исходных прогнозов с 10 членами ансамбля. При 10 членах ансамбля эффект, выраженный в процентном уменьшении среднеквадратической ошибки RMS, при коррекции поля T850 (RMS уменьшилась на 7.9% при использовании CNN против 4.8% при использовании линейного метода) существенно больше эффекта при коррекции поля H500 (RMS уменьшилась на 2.6% при использовании CNN против 2.1% при использовании линейного метода).
В [225] для коррекции ансамблевых прогнозов температуры и количества осадков на территории Западной Европы применяется метод, основанный на ансамблях решающих деревьев (так называемых случайных лесах), использующий в том числе, данные об орографии. Использовались данные с 2000 синоптических станций. Продемонстрировано улучшение качества ансамблевых прогнозов приземной температуры воздуха в метрике CRPS с 1.3-1.5OC у исходных прогнозов до 0.7-1.2 OC у откорректированных (в зависимости от заблаговременности прогноза, которая не превосходит 90 ч).
В [191] предложено использовать нейронные сети для поиска корреляционных связей прогнозов на срок от 2 недель до 2 месяцев. Из более ранних работ [86], [80], [189] (не использующих нелинейное машинное обучение) известно, что при прогнозировании на такие сроки оказывают влияние нелокальные статистические связи, задача выявления которых не тривиальна, особенно при использовании нелинейных статистических моделей.
Во всех приведенных работах данные наблюдений используются только при обучении модели МО. Использование данных наблюдений так же и при применении модели МО может заметно уменьшить погрешности откорректированного прогноза, но тогда возникает проблема применимости коррекции вне мест расположения синоптических станций.
Перейдем к обзору результатов прогнозирования методами машинного обучения параметров и явлений, которые рассматриваемая численная модель не прогнозирует.
В статье [139] проведено сравнение различных подходов к задаче постпроцессинга ансамблевых прогнозов осадков на территории США. Прогнозы сравнивались с данными композита радарных наблюдений. Показано, что качество прогнозов с заблаговременностью 30 ч, полученных линейной логистической регрессией, в среднем немного лучше прогнозов, полученных методом случайного леса.
В работе [192] в задаче прогноза скорости порывов ветра на 50 аэродромах и озерах в Швейцарии сравнивались результаты постпроцессингов, основанных на генетическом программировании и на традиционном методе логистической регрессии. Показано, что среднее качество прогнозов, полученных этими методами весьма близко (процент попаданий 80-81% против 55% у исходных прогнозов модели COSMO (Consortium for Small-scale Modeling) [122] в конфигурации COSMO-EE-2 при близком количестве ложных тревог), но метод, основанный на генетическом программировании, имеет меньший разброс качества для различных прогностических пунктов. В [192] продемонстрировано, что предупреждения, выдаваемые синоптиками, имеют существенно меньший процент попаданий.
В статье [194] производилось сравнение постпроцессингов, основанных на случайном лесе, и некоторых линейных методов по территории США для прогноза различных редких явлений. Например, при прогнозе града размером более 25мм качество прогнозов, полученных с помощью леса решающих деревьев и лучшим из рассмотренных линейных методов, совпадает. При прогнозе турбулентности на высоте полета самолетов метод, основанный на решающих деревьях, имеет преимущество.
В работе [251] предложена методика прогноза вероятности конвективных явлений с заблаговременностью до 48 ч, основанный на свёрточных нейронных сетях (CNN) с 1,65×106 параметров. Для прогноза вероятности конвективных явлений CNN принимает на вход 144 поля метеорологических параметров на 1O сетке в окрестности размера 7Oх7O вокруг данной точки. Для обучения использованы архивы наблюдений на 20000 автоматических и 2420 синоптических станций на территории Китая. Продемонстрировано, что прогнозы, вычисленные CNN, превосходят по качеству прогнозы, полученные другими методами (решающие деревья, линейные методы). Также на архиве за 2015-2017 года прогнозы CNN сравнивались с независимыми прогнозами синоптиков. Прогнозы, сделанные синоптиками, имели большее количество ложных тревог при прогнозировании грозы при аналогичной предупрежденности, а при прогнозировании сильного дождя, града и конвективных явлений имели примерно в 2 раза меньшую предупрежденность чем прогнозы CNN при аналогичной доле ложных тревог.
Суммируем результаты обзора применений машинного обучения в постпроцессинге численных прогнозов. Оценки качества прогнозов, полученных методом решающих деревьев, не всегда демонстрируют превосходство над линейными методами. Наиболее перспективным подходом к постпроцессингу среди нелинейных методов является подход нейронных сетей [235]. При прогнозировании методами машинного обучения параметров и явлений, которые рассматриваемая ЧМПП не прогнозирует, не во всех задачах наилучший результат дают новые, нелинейные методы. Наиболее интересные результаты демонстрируют реализации методов, при обучении которых использованы большие архивы фактической и соответствующей прогностической информации.
Благодарности
Автор благодарит научного руководителя доктора физико-математических наук В.А.Гордина за полезные обсуждения, ссылки на литературу и критику текста диссертации, которые помогли сделать текст лучше.
Автор выражает благодарность сотрудникам ФГБУ «Гидрометцентр России»: А.Н.Багрову за помощь в работе с архивами наблюдений на синоптических станциях и прогнозов иностранных и отечественных ЧМПП, а так же за возможность использовать программные коды разработанной им системы оценок качества прогнозов приземных метеорологических параметров; Г.С.Ривину, без поддержки и наставничества которого работа могла не состояться; Д.В.Блинову за техническую помощь в работе с архивами прогнозов модели COSMO-Ru и за визуализацию данных; А.Ю.Бундель, А.В. Муравьёву, И.А.Розинкиной, А.В.Романову, Л.Л.Тарасовой и М.Д.Цырульникову за полезные обсуждения и ссылки на литературу; Ю.А.Степанову за помощь в настройке и обеспечении совместимости используемых прикладных программ; И.И.Жабиной, И.И.Кулаковой и А.Ю.Недачиной за организацию и техническую поддержку используемых баз данных «Прогноз» Гидрометцентра России; Н.А.Светлову, Е.Н.Шакотько и И.А.Уманскую за поддержку сайта комплексного прогноза и проведенные сравнения прогнозов, размещенных на некоторых интернет-сайтах.
Автор благодарит директора ФГБУ «ГВЦ Росгидромета» С.В.Лубова за помощь с установкой используемых Python пакетов на суперкомпьютерные системы Cray XC40-LC и T- Platforms V6000 и предоставление доступа к этим вычислительным комплексам.