Разработка алгоритма на основе интеллектуального анализа данных для обработки метеосообщений

Ященков, Кирилл Геннадьевич Базовая кафедра интеллектуальных систем управления
Бесплатно
В избранное
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

ВВЕДЕНИЕ………………………………………………………………………………………………………… 4
1 Общие сведения …………………………………………………………………………………………… 6
1.1 Метеорологическое обеспечение региональных служб ………………………….. 6
1.2 Оценка качества текущих метеорологических сводок ……………………………. 9
1.3 Описание типов метеорологических сообщений…………………………………… 11
1.4 Способы повышения качества метеорологического прогнозирования ….. 21
1.5 Методы классификации текстовой информации …………………………………… 24
1.6 Выводы ………………………………………………………………………………………………… 26
2 Алгоритм поиска аномалий в метеосообщениях …………………………………………. 28
2.1 Методики анализа закодированной текстовой информации …………………. 28
2.2 Этап синтаксического анализа текста …………………………………………………… 30
2.3 Этап логического анализа текста ………………………………………………………….. 32
2.4 Выводы ………………………………………………………………………………………………… 34
3 Интеграция алгоритма в программный комплекс ……………………………………….. 35
3.1 Краткое описание существующего программного комплекса ………………. 35
3.2 Программная реализация алгоритма …………………………………………………….. 38
3.3 Внедрение алгоритма в работу ……………………………………………………………… 40
3.4 Результаты применения алгоритма ……………………………………………………….. 41
3.5 Выводы ………………………………………………………………………………………………… 42
ЗАКЛЮЧЕНИЕ ………………………………………………………………………………………………… 44
СПИСОК СОКРАЩЕНИЙ ……………………………………………………………………………….. 45
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ……………………………………………. 46

Последние десятилетия служба метеорологических наблюдений
работает, основываясь на человеческих способностях и программном
обеспечении с весьма скудным функционалом, практически не используя все
возможности современных компьютерных технологий. Однако в последние
годы ситуация стала изменяться. Для работы с данными метеорологических
наблюдений была разработана программа для составления и обмена
метеорологическими сообщениями, а также была создана инфраструктура,
позволяющая производить мгновенный обмен данными даже в удаленных
населенных пунктах.
С течением времени стала проявляться необходимость внедрения нового
функционала, который не только позволяет оптимизировать работу
метеорологов, но и открыть доступ к анализу данных с целью нахождения
аномалий в отсылаемых данных.
Очевидно, что в данный момент прогнозы, предоставляемые
метеослужбами, нередко бывают ошибочными или не точными. Алгоритм для
поиска и определения ошибочных данных позволит существенно уменьшить
количество недостоверной информации, поступающей от каждой из
нескольких десятков метеостанций ежедневно. Среди основных ошибочных
данных можно выделить неверный формат введенных данных, некорректные
значения, опечатки и т.д.
Актуальность темы обусловлена необходимостью повышения
точности прогнозов и передаваемых данных посредством их анализа и поиска
аномальных значений.

Использование комплексного подхода для обработки исходных данных
метеонаблюдений направлено на устранение ошибок, появление которых
обусловлено человеческим фактором. Для определения корректности формата
вводимых данных реализован синтаксический, выполняющийся с помощью
регулярных выражений на первом этапе обработки метеосообщения, и
логический анализы. Автором определен метод построения дерева решений,
как наиболее подходящий для выявления аномалий во введенных
пользователем данных. Уход значений в наборе характеристик
метеосообщений за достоверные пределы приведет к уходу всего набора
характеристик из перечня известных классов, что будет сигнализировать о
наличии в этом наборе данных аномалий.
Предложенный алгоритм, основанный на комбинации форматно-
логического контроля посредством регулярных выражений и дерева решений
для анализа сочетаемости погодных характеристик, ранее не использовался
для анализа текстовой информации в области обработки метеорологической
информации.
Разработанное программное обеспечение для анализа и корректировки
исходных данных от метеостанций, с заложенным в нем синтаксическим и
логическим анализом, а также классификации методом дерева решений уже на
первом этапе внедрения показывает заметное повышение качества
метеосводок. Количество сообщений, содержащих различного рода ошибки,
сократилось на 6 %. В перспективе, это программное обеспечение позволит
улучшить точность формируемых метеорологических прогнозов всех типов, а
также производить контроль качества работы персонала метеостанций.
СПИСОК СОКРАЩЕНИЙ

АМЦ – авиационный метеорологический центр;
АМСГ – авиационная метеорологическая станция (гражданская);
ВС – воздушное судно;
ГА – гражданская авиация;
РФ – Российская Федерация;
СУБД – Система управления базами данных;
УВД – Управление воздушным движением;
ФГБУ – Федеральное государственное бюджетное учреждение;
ЦКС – центр коммутации сообщений.

1.РАЗРАБОТКААЛГОРИТМАПОИСКААНОМАЛИЙВ
МЕТЕОСВОДКАХДЛЯПОВЫШЕНИЯКАЧЕСТВАПРОГНОЗОВ
[Электронныйресурс].URL:http://www.vkit.ru/index.php/current-issue-
rus/1067-045-052 (дата обращения: 15.06.2021).
2.ОбутвержденииФедеральныхавиационныхправил
«Предоставление метеорологической информации для обеспечения полетов
воздушных судов» : Приказ Минтранса России от 03.03.2014 № 60.
3.БолеловЭ.А.Метеорологическоеобеспечениеполетов
гражданской авиации: проблемы и пути их решения // Научный вестник
Московского государственного технического университета гражданской
авиации. 2018. № 5. С. 117128.
4.Принципыпостроенияцентровкоммутациисообщений
[Электронныйресурс].URL:http://www.rfcmd.ru/book_11/h2_6(дата
обращения: 15.06.2021).
5.Многофункциональный Метеорологический Комплекс «МИТРА»
[Электронный ресурс]. URL: http://рмк-траст.рф/produktsiya/mmk-mitra (дата
обращения: 15.06.2021).
6.PostgreSQL: The World’s Most Advanced Relational Database
[Электронный ресурс]. URL: https://www.postgresql.org/ (дата обращения:
15.06.2021).
7.Прием,обработкаииспользованиеметеорологической
информации, поступающей с каналов связи [Электронный ресурс]. URL:
http://meteo.ru/publications/116-trudy-vniigmi/trudy-vniigmi-mtsd-vypusk-174-
2010-g/367-priem-obrabotka-i-ispolzovanie-meteorologicheskoj-informatsii-
postupayushchej-s-kanalov-svyazi (дата обращения: 15.06.2021).
8.Принципыконтролякачествагидрометеорологической
информации [Электронный ресурс]. URL: http://meteo.ru/publications/125-
trudy-vniigmi/trudy-vniigmi-mtsd-vypusk-177-2014-g/517-printsipy-kontrolya-
kachestva-gidrometeorologicheskoj-informatsii (дата обращения: 15.06.2021).
9.Кижнер Л. И., Барашкова Н. К., Ахметшина А. С., Барт А. А.,
Поляков Д. В. Оценка точности численных прогнозов метеорологических
условий в районе г. Томска с использованием модели WRF // Вестник
Томского государственного университета. 2013. № 374. С. 174178.
10.Сравнение точности прогнозов в 2019 году [Электронный ресурс].
URL:https://spb-weather.livejournal.com/196197.html(датаобращения:
15.06.2021).
11.Данилов А.Д., Пилеич А.В. Модель автоматизированной системы
приема, обработки и передачи метеорологической информации // Вестник
Воронежского государственного технического университета. 2011. № 8. С.
3438.
12.METAR—Базазнаний[Электронныйресурс].URL:
https://www.avsim.su/wiki/METAR (дата обращения: 15.06.2021).
13.AIREPSPECIAL[Электронныйресурс].URL:
https://www.lennuilm.ee/kasulik-teada/teenuste-kirjeldus/airep-special/?lang=ru
(дата обращения: 15.06.2021).
14.Инструктивный материал по кодам METAR, SPECI, TAF – от
05.03.2015, № 115. М., 2015. 66 с.
15.TAF–Базазнаний[Электронныйресурс].URL:
www.avsim.su/wiki/TAF (дата обращения: 15.06.2021).
16.Носков Д. В. Классификация текстов при помощи алгоритмов
машинного обучения // Вестник науки и образования. 2018. № 4. С. 3941.
17.Бойко М. В., Богданова Д. Р., Юсупова Н. И. Алгоритмическое и
программное обеспечение для анализа тональности текстовых сообщений с
использованиеммашинногообучения//ВестникУфимского
государственного авиационного технического университета. 2012. № 6. С.
9199.
18.Михайлов И. С., Аунг З., Аунг Т. Разработка модификации метода
опорных векторов для решения задачи классификации с ограничениями на
предметную область // Программные продукты и системы. 2020. № 3. С.
439448.
19.Кафтанников И. Л., Парасич А. В. Особенности применения
деревьев решений в задачах классификации // Вестник Южно-Уральского
государственногоуниверситета.Серия:Компьютерныетехнологии,
управление, радиоэлектроника. 2015. № 3. С. 2632.
20.Полякова М. Ю., Судаков Б. Н. Разработка подхода к созданию
алгоритмасинтаксическогоанализаестественно–языковоготекста
информационна–поисковых систем // Вісник НТУ “ХПІ”. Тематичний випуск:
Інформатика і моделювання. 2011. № 17. С. 128134.
21.Поисковые системы [Электронный ресурс]. URL: https://safe-
surf.ru/users-of/article/221/ (дата обращения: 15.06.2021).
22.Ontology Development 101: A Guide to Creating Ontology
[Электронныйресурс].URL:
https://protege.stanford.edu/publications/ontology_development/ontology101-noy-
mcguinness.html (дата обращения: 15.06.2021).
23.Метод и алгоритм синтаксического анализа [Электронный
ресурс].URL:https://megalektsii.ru/s145589t5.html(датаобращения:
15.06.2021).
24.Основы регулярных выражений [Электронный ресурс]. URL:
https://ravesli.com/regulyarnye-vyrazheniya-osnovy/(датаобращения:
15.06.2021).
25.Регулярные выражения, их назначение и применение в Unix.
[Электронный ресурс]. URL: https://system-administrators.info/?p=1140 (дата
обращения: 15.06.2021).
26.Самая низкая температуразавсю историюнаблюдений
[Электронныйресурс].URL:https://replyon.net/194-samaya-nizkaya-
temperatura.html (дата обращения: 15.06.2021).
27.Универсальныйметеорологическийтелекоммуникационный
комплекс маршрутизации сообщений и файлов [Электронный ресурс]. URL:
https://docplayer.ru/26230235-Universalnyy-meteorologicheskiy
telekommunikacionnyy-kompleks-marshrutizacii-soobshcheniy-i-faylov.html
(дата обращения: 15.06.2021).
28.Обзор – Windows Forms .NET Framework [Электронный ресурс].
URL:https://docs.microsoft.com/ru-ru/dotnet/desktop/winforms/windows-forms-
overview?view=netframeworkdesktop-4.8 (дата обращения: 15.06.2021).
29.РазвертываниеибезопасностьтехнологииClickOnce
[Электронныйресурс].URL:https://docs.microsoft.com/ru-
ru/visualstudio/deployment/clickonce-security-and-deployment?view=vs-2019
(дата обращения: 15.06.2021).
30.Коды европейских аэропортов (IATA и ICAO) [Электронный
ресурс]. URL: https://aviabilety-loukoster.ru/aehroporty-mira/kody-aehroportov-
evropy/#:~:text=В%20Европе%20код%20аэропорта%20ИКАО,коды%20аэроп
ортов%20ИКАО%20являются%20уникальными (дата обращения: 15.06.2021).
31.Ретроспективныеурокиавтоматизации:принциптрехА
[Электронный ресурс]. URL: https://www.software-testing.ru/library/testing/
testing-automation/3038-hindsight-lessons-about-automation-the-triple-a-principle
(дата обращения: 15.06.2021).
32.xUnit.net [Электронный ресурс]. URL: https://xunit.net/ (дата
обращения: 15.06.2021).
33..NET UI Controls for Developers of Mobile, Desktop, Web, Reporting
& BI Apps [Электронный ресурс]. URL: https://www.devexpress.com/ (дата
обращения: 15.06.2021).
34..NETFramework[Электронныйресурс].URL:
https://dotnet.microsoft.com/download/dotnet-framework(датаобращения:
15.06.2021).
35.Внедрениепрограммногообеспечениявинформационных
системах [Электронный ресурс]. URL: http://www.itmservice.ru/info/vnedrenie-
programmnogo-obespecheniya/ (дата обращения: 15.06.2021).

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Рима С.
    5 (18 отзывов)
    Берусь за решение юридических задач, за написание серьезных научных статей, магистерских диссертаций и дипломных работ. Окончила Кемеровский государственный универси... Читать все
    Берусь за решение юридических задач, за написание серьезных научных статей, магистерских диссертаций и дипломных работ. Окончила Кемеровский государственный университет, являюсь бакалавром, магистром юриспруденции (с отличием)
    #Кандидатские #Магистерские
    38 Выполненных работ
    AleksandrAvdiev Южный федеральный университет, 2010, преподаватель, канд...
    4.1 (20 отзывов)
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    #Кандидатские #Магистерские
    28 Выполненных работ
    Дмитрий К. преподаватель, кандидат наук
    5 (1241 отзыв)
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполня... Читать все
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполняю уже 30 лет.
    #Кандидатские #Магистерские
    2271 Выполненная работа
    Дарья Б. МГУ 2017, Журналистики, выпускник
    4.9 (35 отзывов)
    Привет! Меня зовут Даша, я окончила журфак МГУ с красным дипломом, защитила магистерскую диссертацию на филфаке. Работала журналистом, PR-менеджером в международных ко... Читать все
    Привет! Меня зовут Даша, я окончила журфак МГУ с красным дипломом, защитила магистерскую диссертацию на филфаке. Работала журналистом, PR-менеджером в международных компаниях, сейчас работаю редактором. Готова помогать вам с учёбой!
    #Кандидатские #Магистерские
    50 Выполненных работ
    Виктор В. Смоленская государственная медицинская академия 1997, Леч...
    4.7 (46 отзывов)
    Имеют опыт грамотного написания диссертационных работ по медицине, а также отдельных ее частей (литературный обзор, цели и задачи исследования, материалы и методы, выв... Читать все
    Имеют опыт грамотного написания диссертационных работ по медицине, а также отдельных ее частей (литературный обзор, цели и задачи исследования, материалы и методы, выводы).Пишу статьи в РИНЦ, ВАК.Оформление патентов от идеи до регистрации.
    #Кандидатские #Магистерские
    100 Выполненных работ
    Екатерина С. кандидат наук, доцент
    4.6 (522 отзыва)
    Практически всегда онлайн, доработки делаю бесплатно. Дипломные работы и Магистерские диссертации сопровождаю до защиты.
    Практически всегда онлайн, доработки делаю бесплатно. Дипломные работы и Магистерские диссертации сопровождаю до защиты.
    #Кандидатские #Магистерские
    1077 Выполненных работ
    Глеб С. преподаватель, кандидат наук, доцент
    5 (158 отзывов)
    Стаж педагогической деятельности в вузах Москвы 15 лет, автор свыше 140 публикаций (РИНЦ, ВАК). Большой опыт в подготовке дипломных проектов и диссертаций по научной с... Читать все
    Стаж педагогической деятельности в вузах Москвы 15 лет, автор свыше 140 публикаций (РИНЦ, ВАК). Большой опыт в подготовке дипломных проектов и диссертаций по научной специальности 12.00.14 административное право, административный процесс.
    #Кандидатские #Магистерские
    216 Выполненных работ
    Татьяна М. кандидат наук
    5 (285 отзывов)
    Специализируюсь на правовых дипломных работах, магистерских и кандидатских диссертациях
    Специализируюсь на правовых дипломных работах, магистерских и кандидатских диссертациях
    #Кандидатские #Магистерские
    495 Выполненных работ
    Мария М. УГНТУ 2017, ТФ, преподаватель
    5 (14 отзывов)
    Имею 3 высших образования в сфере Экологии и техносферной безопасности (бакалавриат, магистратура, аспирантура), работаю на кафедре экологии одного из опорных ВУЗов РФ... Читать все
    Имею 3 высших образования в сфере Экологии и техносферной безопасности (бакалавриат, магистратура, аспирантура), работаю на кафедре экологии одного из опорных ВУЗов РФ. Большой опыт в написании курсовых, дипломов, диссертаций.
    #Кандидатские #Магистерские
    27 Выполненных работ

    Другие учебные работы по предмету

    Интеллектуальный анализ текстовых данных с rnприменением методов машинного обучения
    📅 2019год
    🏢 Национальный исследовательский Томский политехнический университет (ТПУ)