Разработка протокола передачи данных для системы управления потоками данных

Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0
Кайда, Анастасия Юрьевна Отделение информационных технологий (ОИТ)
Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Целью данной магистерской диссертации является формализация протокола, предназначенного для коммуникации компонент базы знаний крупного научного эксперимента и обеспечивающего процесс интеграции гетерогенных данных посредством организации цепочек программ-исполнителей, отвечающих за извлечение данных из внешних хранилищ, их преобразование и загрузку в централизованное хранилище. Реализация базовой сигнальной версии протокола обеспечивает двустороннюю передачу данных между процессами, обрабатывающими большие объемы данных, и управление потоками данных.

Перечень условных обозначений ……………………………………………………………………………………… 13
Введение …………………………………………………………………………………………………………………………. 14
1 Аналитический обзор научной, нормативной и технической документации ……………… 15
1.1 Общие вопросы обработки и анализа больших данных ……………………………………………. 15
1.2 Протоколы передачи данных …………………………………………………………………………………… 16
1.3 Связующее программное обеспечение, ориентированное на обработку сообщений ….. 21
1.4 Выводы по аналитическому разделу ………………………………………………………………………… 22
2 Архитектура системы управления потоками данных………………………………………………… 24
2.1 Организация работы с данными в брокере сообщений Apache Kafka ………………………… 24
2.2 Построение топологий на базе Kafka Streams …………………………………………………………… 26
2.3 Система управления потоками данных MInT MS …………………………………………………….. 28
3 Протокол передачи данных для системы управления потоками данных MInT MS ……. 31
3.1 Спецификация требований к протоколу передачи данных ……………………………………….. 31
3.2 Описание протокола передачи данных …………………………………………………………………….. 32
3.2.1 Определение терминов протокола …………………………………………………………………………… 32
3.2.2 Принятые к реализации соглашения ………………………………………………………………………… 33
3.2.2.1 Механизмы прерывания соединения ……………………………………………………………………… 34
3.2.2.2 Шифрование данных …………………………………………………………………………………………….. 34
3.2.3 Сценарии коммуникации протокола ………………………………………………………………………… 35
3.3 Сигналы протокола передачи данных ………………………………………………………………………. 39
3.4 Обоснование выбора программных средств разработки …………………………………………… 40
3.5 Разработка механизмов чтения пользовательских маркеров в потоковом режиме …….. 41
4 Результаты ……………………………………………………………………………………………………………… 43
4.1 Сравнительный анализ времени обработки сообщений ……………………………………………. 43
4.2 Обсуждение результатов и апробация ……………………………………………………………………… 44
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение ………………….. 46
5.1 Предпроектный анализ ……………………………………………………………………………………………. 46
5.1.1 Потенциальные потребители разработки …………………………………………………………………. 46
5.1.2 Технология QuaD ……………………………………………………………………………………………………. 46
5.1.3 SWOT-анализ………………………………………………………………………………………………………….. 47
5.1.4 Оценка готовности разработки к коммерциализации ……………………………………………….. 49
5.2 Инициация разработки ……………………………………………………………………………………………. 50
5.3 Планирование управления разработкой …………………………………………………………………… 52
5.3.1 Иерархическая структура работ ………………………………………………………………………………. 52
5.3.2 План разработки ……………………………………………………………………………………………………… 53
5.3.2.1 Определение трудоемкости выполнения работ ………………………………………………………. 55
5.3.2.2 Разработка графика проведения разработки …………………………………………………………… 56
5.3.3 Бюджет разработки …………………………………………………………………………………………………. 57
5.3.3.1 Расчет материальных затрат разработки ………………………………………………………………… 57
5.3.3.2 Расчет амортизационных отчислений ……………………………………………………………………. 57
5.3.3.3 Основная заработная плата исполнителей темы …………………………………………………….. 59
5.3.3.4 Дополнительная заработная плата исполнителей темы…………………………………………… 60
5.3.3.5 Отчисления во внебюджетные фонды (страховые отчисления ……………………………….. 61
5.3.3.6 Накладные расходы ………………………………………………………………………………………………. 61
5.3.3.7 Формирование бюджета затрат научно-исследовательского разработки …………………. 61
5.3.4 Риски разработки ……………………………………………………………………………………………………. 62
5.4 Определение потенциального эффекта разработки …………………………………………………… 64
6 Социальная ответственность …………………………………………………………………………………… 65
6.1 Правовые и организационные вопросы обеспечения безопасности …………………………… 65
6.1.1 Специальные (характерные для проектируемой рабочей зоны) правовые нормы
трудового законодательства …………………………………………………………………………………………….. 65
6.1.2 Организационные мероприятия при компоновке рабочей зоны ………………………………… 66
6.2 Профессиональная социальная безопасность …………………………………………………………… 68
6.2.1 Анализ вредных и опасных факторов, которые может создать объект исследования … 69
6.2.2 Анализ вредных и опасных факторов, которые могут возникнуть на рабочем месте …. 69
6.2.2.1 Отклонение показателей микроклимата …………………………………………………………………. 69
6.2.2.2 Превышение уровня шума …………………………………………………………………………………….. 70
6.2.2.3 Отсутствие или недостаток естественного света…………………………………………………….. 71
6.2.2.4 Недостаточная освещенность рабочей зоны …………………………………………………………… 73
6.2.2.5 Повышенное значение напряжения в электрической цепи ……………………………………… 73
6.2.2.6 Умственное перенапряжение…………………………………………………………………………………. 74
6.2.3 Обоснование мероприятий по защите исследователя от действия опасных и вредных
факторов …………………………………………………………………………………………………………………………. 75
6.3 Экологическая безопасность ……………………………………………………………………………………. 76
6.3.1 Анализ влияния объекта исследования на окружающую среду…………………………………. 76
6.3.2 Анализ влияния процесса исследования на окружающую среду ………………………………. 77
6.3.3 Обоснование мероприятий по защите окружающей среды ……………………………………….. 77
6.4 Безопасность в чрезвычайных ситуациях …………………………………………………………………. 78
6.4.1 Анализ вероятных ЧС, которые может инициировать объект исследований ……………… 78
6.4.2 Анализ вероятных ЧС, которые могут возникнуть на рабочем месте при проведении
исследований…………………………………………………………………………………………………………………… 78
6.4.3 Обоснование мероприятий по предотвращению ЧС и разработка порядка действий в
случае возникновения ЧС ………………………………………………………………………………………………… 78
Список используемых источников …………………………………………………………………………………… 85
Приложение А…………………………………………………………………………………………………………………. 88
Приложение Б …………………………………………………………………………………………………………….. 101

Современные научные эксперименты класса «мегасайенс», в т.ч. на
уникальных научных установках – это крупные дорогостоящие международные
проекты, сопряженные с вопросами сбора, обработки и хранения сверхбольших
объемов данных. Одной из таких уникальных научных установок является
Большой адронный коллайдер (БАК) и установленные на нем детекторы –
ATLAS, ALICE, LHCb, CMS и т.д. Эксперимент ATLAS – A Toroidal LHC
ApparatuS, – проводимый на одноименном детекторе, является крупнейшим
экспериментом Европейской организации по ядерным исследованиям (CERN) и
одним из лидирующих современных научных экспериментов по уровню
интенсивности обработки данных в мире.
Решение задачи упрощения поиска и автоматизации процессов сбора,
обработки и хранения метаданных для гетерогенных вычислительных
инфраструктур требуют новых подходов, акцентирующих внимание на работе со
сверхбольшими массивами данных. В рамках научной коллаборации ТПУ и
НИЦ «Курчатовский институт» для решения поставленной задачи было принято
решение о создании единой Базы Научных Знаний (DKB) научного
эксперимента ATLAS.
Неотъемлемой частью DKB является система интеграции метаданных,
отвечающая за извлечение, преобразование и загрузку данных, а также за
управление потоками данных в системе.
Целью данной магистерской диссертации является разработка протокола
коммуникации для внутренней системы управления потоками данных DKB.

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Читать «Разработка протокола передачи данных для системы управления потоками данных»

    Последние выполненные заказы

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Евгений А. доктор, профессор
    5 (154 отзыва)
    Более 40 лет занимаюсь преподавательской деятельностью. Специалист в области философии, логики и социальной работы. Кандидатская диссертация - по логике, докторская - ... Читать все
    Более 40 лет занимаюсь преподавательской деятельностью. Специалист в области философии, логики и социальной работы. Кандидатская диссертация - по логике, докторская - по социальной работе.
    #Кандидатские #Магистерские
    260 Выполненных работ
    Евгения Р.
    5 (188 отзывов)
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и со... Читать все
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и создаю красивые презентации. Сопровождаю работы до сдачи, на связи 24/7 ?
    #Кандидатские #Магистерские
    359 Выполненных работ
    Логик Ф. кандидат наук, доцент
    4.9 (826 отзывов)
    Я - кандидат философских наук, доцент кафедры философии СГЮА. Занимаюсь написанием различного рода работ (научные статьи, курсовые, дипломные работы, магистерские дисс... Читать все
    Я - кандидат философских наук, доцент кафедры философии СГЮА. Занимаюсь написанием различного рода работ (научные статьи, курсовые, дипломные работы, магистерские диссертации, рефераты, контрольные) уже много лет. Качество работ гарантирую.
    #Кандидатские #Магистерские
    1486 Выполненных работ
    Татьяна Б.
    4.6 (92 отзыва)
    Добрый день, работаю в сфере написания студенческих работ более 7 лет. Всегда довожу своих студентов до защиты с хорошими и отличными баллами (дипломы, магистерские ди... Читать все
    Добрый день, работаю в сфере написания студенческих работ более 7 лет. Всегда довожу своих студентов до защиты с хорошими и отличными баллами (дипломы, магистерские диссертации, курсовые работы средний балл - 4,5). Всегда на связи!
    #Кандидатские #Магистерские
    138 Выполненных работ
    Вики Р.
    5 (44 отзыва)
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написан... Читать все
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написание письменных работ для меня в удовольствие.Всегда качественно.
    #Кандидатские #Магистерские
    60 Выполненных работ
    Дмитрий К. преподаватель, кандидат наук
    5 (1241 отзыв)
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполня... Читать все
    Окончил КазГУ с красным дипломом в 1985 г., после окончания работал в Институте Ядерной Физики, защитил кандидатскую диссертацию в 1991 г. Работы для студентов выполняю уже 30 лет.
    #Кандидатские #Магистерские
    2271 Выполненная работа
    user1250010 Омский государственный университет, 2010, преподаватель,...
    4 (15 отзывов)
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    Пишу качественные выпускные квалификационные работы и магистерские диссертации. Опыт написания работ - более восьми лет. Всегда на связи.
    #Кандидатские #Магистерские
    21 Выполненная работа
    Татьяна С. кандидат наук
    4.9 (298 отзывов)
    Большой опыт работы. Кандидаты химических, биологических, технических, экономических, юридических, философских наук. Участие в НИОКР, Только актуальная литература (пос... Читать все
    Большой опыт работы. Кандидаты химических, биологических, технических, экономических, юридических, философских наук. Участие в НИОКР, Только актуальная литература (поставки напрямую с издательств), доступ к библиотеке диссертаций РГБ
    #Кандидатские #Магистерские
    551 Выполненная работа
    Анна Н. Государственный университет управления 2021, Экономика и ...
    0 (13 отзывов)
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уни... Читать все
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уникальности с нуля. Все работы оформляю в соответствии с ГОСТ.
    #Кандидатские #Магистерские
    0 Выполненных работ

    Другие учебные работы по предмету

    Интеллектуальный анализ текстовых данных с rnприменением методов машинного обучения
    📅 2019 год
    🏢 Национальный исследовательский Томский политехнический университет (ТПУ)