Создание и применение новой методологии управления big data для проектного управления
ВВЕДЕНИЕ 4
1. ОБЗОР ЛИТЕРАТУРЫ. 7
1.1. БОЛЬШИЕ ДАННЫЕ 10
2. МЕТОДОЛОГИЯ 23
2.1. ЭКОСИСТЕМА БОЛЬШИХ ДАННЫХ 25
2.2. СОЗДАНИЕ ПРОГРАММЫ И ИНТЕГРАЦИЯ 26
3. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ 30
3.1. СТРУКТУРНОЕ ПОНИМАНИЕ ПРОГРАММЫ 34
3.2. СФЕРЫ ПРИМЕНЕНИЯ ПРОГРАММЫ 39
3.3. ПРЕИМУЩЕСТВО ВИЗУАЛИЗАЦИИ ПРОГРАММЫ В ТЕХНОЛОГИИ БОЛЬШИХ ДАННЫХ 40
3.4. ТЕСТИРОВАНИЕ ПРОГРАММЫ БАСТАУ 43
4. ЗАКЛЮЧЕНИЕ 54
Современный мир требует каждодневное совершенствование технологий и методологий в области обработки информации. Растущий поток терабайтов разных данных должен быть быстро и качественно обработан для максимально точной и, не менее важно, достоверной передачи от человека человеку. Прогресс, в технологическом понимании, продвигается в достаточно быстром темпе для разработок и применений необходимых программных обеспечений, аккумулирующих большие объемы различной информации. Быстрое получение необходимой и достоверной информации отражается на всех сферах деятельности, и в управлении проектами в том числе.
Одной из проблем современного прогрессивного мира – вопрос скорости передачи данных в больших объемах, а также их прозрачность и актуальность. Для решения описанной проблемы необходимо найти инструмент, позволяющий оперативно реагировать на прогресс современного мира в векторе информационных технологий.
Актуальность исследования обусловлена необходимостью решения проблем с сокращением времени обработки данных и лучшим восприятием результатов обработки конечным пользователем в целях повышения качества управления проектами.
В связи с вышеуказанным создание и внедрение новой Казахстанской методологии в сфере обработки Больших Данных может стать инструментом, обеспечивающим решение данных проблем.
Управления проектами выходят на новый уровень. С бесконечным потоком информации появляется необходимость в новых решениях. Крупномасштабные проекты зачастую имеют широкую иерархию сотрудников, которая искажает первоначальный вид информации в пути к получателю ввиду разных причин.
Данное исследование направлено на создание и применение новой методологии управления Big Data (далее- Большие Данные) для проектного управления. Научная диссертация отображает в себе все практические применения новой отечественной методологии вместе с сопутствующим программным обеспечением. Основными моментами в изучении были анализ и создание методологии для более удобной обработки данных. Сам проект носит рабочее название “Bastau” (далее-Бастау) и уже на сегодняшний день имеет практическое применение в области управления в частном и государственном секторах. Диссертация в упомянутой теме необходима для понимания важности быстрой и удобной работой с большими данными как решение для эффективного управления проектами. Было принято решение исследовать данную область в соответствии с современными реалиями. Присуще двадцать первому веку информационные технологии могут выдвинуть любой проект в разных сферах как авангард на пути к успеху, так и тянущим индустрию балластом в связи с отсутствием инструментов управления.
Цель работы. Теоретическое обоснование и практическая реализация методологической системы обработки Больших Данных для повышения качества управления проектами.
Для достижения цели исследования и проверки сформулированной гипотезы необходимо решить следующие задачи:
• Изучить тематическую литературу в сфере управления проектами и Больших Данных;
• Определить актуальность исследования и обозначить в работе;
• Провести сравнительный анализ имеющихся ИТ-программ в Казахстане;
• Разработать и внедрить методологию по работе с Большими Данными;
• Проверить эффективность разработанной системы и определить результативность ее внедрения.
Объект исследования. Скорость передачи информации руководству сотрудников детских школ развития «Step-by-step children development school» в целях сравнения с рабочей программой по обработке Больших данных.
Предмет исследования. Механизмы и инструментарии информационного анализа технологии обработки Больших Данных при практическом применении технологии.
Гипотеза: Предполагается, что если осуществить разработку методологии с функцией визуализации и прозрачным потоком информации в виде Больших Данных, то возрастёт эффективность работы корпоративных и государственных проектов.
В ходе исследования использовались следующие методы: теоретические: изучение и анализ тематической литературы, нормативно-правовых документов и программного обеспечения по созданию и использованию технологии обработки Больших Данных; практические: симуляция работы программы в условиях реального времени.
Основные этапы исследования:
Исследование велось с 2018 по 2021 гг. в два этапа. На первом этапе исследования (2018 г.) определялась актуальность темы исследования, прорабатывалась литература по избранной теме, формулировалась гипотеза, определялись цели, предмет, объект и методы исследования, изучалось состояние проблемы. Второй этап (2019 гг.) – проектировочный. Здесь формировались концептуальные основания модели методологии, структура информационно-технологического обеспечения и ее гибкость в условиях прогрессирующего рынка уточнялись цели гипотеза исследования, осуществлялась апробация практических подходов в существующей компании.
Научная новизна состоит в том, что впервые исследованы проблемы скорости и визуализации обработки Больших Данных в управлении проектами.
Теоретической основой диссертационного исследования являются научные труды казахстанских и зарубежных ученых, занимающихся проблемами хранения и анализа больших данных, а также управления проектами.
Работа представляет собой результат теоретической и практической деятельности в области обработки Больших Данных, исследования сопутствующей области и определения необходимых инструментов для создания нового инструмента управления.
CNews.ru. 2021. Платформы для Big Data: сравнение вендоров. [online] Available at: [Accessed 4 Mart 2021].
Gartner Inc. (2015, September 15). Gartner Says Business Intelligence and Analytics Leaders Must Focus on Mindsets and Culture to Kick Start Advanced Analytics. Retrieved from https://www.gartner.com/newsroom/id/3130017
Habr.com. 2021. Что такое «Big Data»?. [online] Available at: [Accessed 28 April 2021].
Hamrouni, W. (2017, August 1). 5 of the Biggest Information Technology Failures and Scares. Exoplatform. Retrieved from https://www.exoplatform.com/blog/2021/04/01/5-of-the-biggestin formationtechnology-failures-and-scares
Heudecker, N. (2017, November 9). We were too conservative. The failure rate is closer to 85%. And the problem isn’t technology. Twitter. Retrieved from https://twitter.com/nheudecker/status/928720268662530048
Klemenkov, P. and Kuznetsov, S., 2012. Big data: modern approaches to storage and analysis. Proceedings of the Institute for System Programming of RAS, 23, pp.143-158.
McAllister, J. (2018, June 22). How to Leverage Big Data in Project Management. Project Insight. Retrieved from https://www.projectinsight.net/blogs/project-management-tips/how-to-leverage-bigdata-in-project-management
Nitec.kz. 2021. НИТЕК – Site | АО “Национальные информационные технологии”. [online] Available at: [Accessed 18 May 2021].
Riddle, C. (2017, August 10). The importance of big data and analytics in the era of digital transformation. ITProPortal. Retrieved from https://www.itproportal.com/features/the-importance-of-big-data-andanalytics-in-the-era-of-digital-transformation/
Syal, R. (2013, September 18). Abandoned NHS IT system has cost £10bn so far. The Guardian. Retrieved from https://www.theguardian.com/society/2013/sep/18/nhs-records-system-10bn
TÜSİAD. (2016). Türkiye’nin Küresel Rekabetçiliği için Bir Gereklilik Olarak Sanayi 4.0: Gelişmekte Olan Ekonomi Perspektifi. İstanbul: TÜSİAD.
Verma, A. (2018, March 19). Why is Big Data Analytics So Important? WhizLabs. Retrieved from https:// www.whizlabs.com/blog/big-data-analytics-importance/
Zicari, R. V., Rosselli, M., Ivanov, T., Korfiatis, N., Tolle, K., Niemann, R., & Reichenbach, C. (2016).
Setting up a Big Data project: Challenges, opportunities, technologies and optimization. In Big Data optimization: Recent developments and challenges (pp. 17-47). Switzerland: Springer.
Home – Wikibon research. [Электронный ресурс] – Режим доступа: https://wikibon.com/ (дата обращения 27.05.2019 г.).
Фролова Т. А. Экономика предприятия: конспект лекций / Т. А. Фролова. – Таганрог: ТТИ ЮФУ, 2012.
Алексеев А. Н. Исследование систем управления: учебнометодические материалы / А. Н. Алексеев. – Москва. – 2011.
Ланкина Е. В. Менеджмент организации: учебное пособие / Е. В. Ланкина. – Таганрог. – ТРТУ. – 2011
Цевелев В. В. Основы менеджмента: организационнопроизводственный менеджмент. / В. В. Цевелев, Ю. И. Молотков. – Новосибирск. – 2011.
Глущенко В.В. Исследования систем управления: учебное пособие / В. В. Глущенко, И. И. Глущенко. – Железнодорожный. – 2008.
Г. Б. Клейнер // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов. — М.: Большая российская энциклопедия, 2004—2017.
Columbus L. 10 Charts That Will Change Your Perspective Of Big Data’s Growth / Louis Columbus. [Электронный ресурс] – Режим доступа: https://www.forbes.com/sites/louiscolumbus/2020/05/23/10-charts-that-will-changeyour-perspective-of-big-datas-growth/#432b11a29268 (дата обращения 27.05.2019 г.).
Data sets – Data.gov [Электронный ресурс] – Режим доступа: http://catalog.data.gov/dataset (дата обращения 27.11.2020 г.).
Data.gov.ru | открытые данные России [Электронный ресурс] – Режим доступа: https://data.gov.ru/ (дата обращения 27.11.2020 г.).
DB-Engines Ranking [Электронный ресурс] – Режим доступа: https://db-engines.com/en/ranking (дата обращения 27.05.2019 г.).
Elasticity (cloud computing). From Wikipedia, the free encyclopedia. [Электронный ресурс] – Режим доступа: https://en.wikipedia.org/wiki/Elasticity_(cloud_computing) (дата обращения 27.05.2020 г.).
European Data Portal [Электронный ресурс] – Режим доступа: https://www.europeandataportal.eu/ (дата обращения 27.05.2019 г.).
Generate data. [Электронный ресурс] – Режим доступа: http://www.generatedata.com/ (дата обращения 27.05.2019 г.).
Get Started with Hortonworks Sandbox [Электронный ресурс] – Режим доступа: https://www.cloudera.com/downloads/hortonworks-sandbox.html#install (дата обращения 27.05.2020 г.).
Global Market Research Reports Company. Statistic MRC. [Электронный ресурс] – Режим доступа: https://www.strategymrc.com (дата обращения 27.05.2020 г.).
Greenfield D. How Technology and People Are Steering Manufacturing’s Future David Greenfield / David Greenfield [Электронный ресурс] – Режим82 доступа: https://www.automationworld.com/how-technology-and-people-aresteering-manufacturings-future (дата обращения 27.05.2020 г.).
Hadoop. [Электронный ресурс] – Режим доступа: https://ru.wikipedia.org/wiki/Hadoop (дата обращения 27.05.2020 г.).
HDFS shell [Электронный ресурс] – Режим доступа: https://github.com/avast/hdfs-shell (дата обращения 27.05.2020 г.).
HDInsight. Простая экономичная служба аналитики корпоративного уровня с открытым кодом. [Электронный ресурс] – Режим доступа: https://azure.microsoft.com/ru-ru/services/hdinsight/ (дата обращения 27.05.2020 г.).
Home – Wikibon research. [Электронный ресурс] – Режим доступа: https://wikibon.com/ (дата обращения 27.05.2020 г.).
Hypertable [Электронный ресурс] – Режим доступа: http://www.hypertable.org/ (дата обращения 27.05.2020 г.). 34. IMF DATA. [Электронный ресурс] – Режим доступа: https://www.imf.org/en/Data (дата обращения 27.06.2020 г.).
Lambda architecture. From Wikipedia, the free encyclopedia. [Электронный ресурс] – Режим доступа: https://en.wikipedia.org/wiki/Lambda_architecture (дата обращения 27.05.2020 г.).
MapR Converged Data Platform. [Электронный ресурс] – Режим доступа: https://mapr.com/datasheets/mapr-converged-data-platform/ (дата обращения 27.05.2020 г.).
Marr Bernard. Big Data And AI: 30 Amazing (And Free) Public Data Sources For. / Bernard Marr 2018 [Электронный ресурс] – Режим доступа: https://www.forbes.com/sites/bernardmarr/2018/02/26/big-data-and-ai-30-amazingand-free-public-data-sources-for-2018/#57d218e05f8a (дата обращения 27.05.2019 г.)
McNulty Eileen. Understanding Big Data: The Seven V’s / Eileen McNulty. [Электронный ресурс] – Режим доступа: http://dataconomy.com/2014/05/seven-vs-big-data/ (дата обращения 25.06.2020 г.)
Memcached – a distributed memory object caching system. [Электронный ресурс] – Режим доступа: https://memcached.org/ (дата обращения 27.05.2019 г.).
Min Chen, Shiwen Mao, Yin Zhang, Victor C.M. Leung. Big Data. Related Technologies, Challenges, and Future Prospects. – Spinger, 2014. – [Электронный ресурс] – Режим доступа: http://lab.ilkom.unila.ac.id/ebook/ebooks%20Big%20Data/2014%20Big%20Data%20Related%20Technologies,%20Ch allenges%20and%20Future%20Prospects.pdf (дата обращения 25.06.2020 г.).
MongoDB: The most popular database for modern apps. [Электронный ресурс] – Режим доступа: https://www.mongodb.com/ (дата обращения 25.06.2020 г.).
Neo4j Graph Platform – The Leader in Graph Databases. [Электронный ресурс] – Режим доступа: https://neo4j.com/ (дата обращения 25.06.2020 г.).
Open Source Search & Analytics Elasticsearch. [Электронный ресурс] – Режим доступа: https://www.elastic.co/ (дата обращения 25.06.2020.).
OpenCSV. [Электронный ресурс] – Режим доступа: http://opencsv.sourceforge.net (дата обращения 25.06.2020 г.).
OpenLink Virtuoso Universal Server. [Электронный ресурс] – Режим доступа: https://virtuoso.openlinksw.com/ (дата обращения 25.06.2020 г.).
OrientDB: Graph Database | Multi-Model Database. [Электронный ресурс] – Режим доступа: https://orientdb.com/ (дата обращения 25.06.2020 г.).
Reddis. [Электронный ресурс] – Режим доступа: https://redis.io/ (дата обращения 25.06.2020 г.).
Tech pundits’ tenuous but intriguing prognostications about 2016 and beyond. The Economist. [Электронный ресурс] – Режим доступа: https://www.economist.com/business/2015/12/31/tech-pundits-tenuous-butintriguing-prognostications-about-2016-and-beyond (дата обращения 25.06.2020 г.).
Third platform. From Wikipedia, the free encyclopedia. [Электронный ресурс] – Режим доступа: https://en.wikipedia.org/wiki/Third_platform (дата обращения 25.06.2020 г.).
Vaseekaran Gowthamy. Big Data Battle: Batch Processing vs Stream Processing / Gowthamy Vaseekaran [Электронный ресурс] – Режим доступа: https://medium.com/@gowthamy/big-data-battle-batch-processing-vs-streamprocessing-5d94600d8103 (дата обращения 25.06.2020г.).
World Bank Open Data. Free and open access to global development data [Электронный ресурс] – Режим доступа: https://data.worldbank.org/ (дата обращения 25.06.2020 г.).
Большие данные – Википедиа. [Электронный ресурс] – Режим доступа: https://ru.wikipedia.org/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0 %B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5 (дата обращения 25.06.2020 г.).
Большие данные (Big Data). [Электронный ресурс] – Режим доступа: http://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8C% D1%8F:%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D0 %B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5_(Big_Data) (дата обращения 15.07.2020 г.).
Бородаенко В., Ермаков А. Универсальная платформа обработки больших данных / Виктор Бородаенко, Александр Ермаков // «Открытые системы. СУБД» 2017, № 03 [Электронный ресурс] – Режим доступа: https://www.osp.ru/os/2017/03/13052699/ (дата обращения 27.05.2020г.).
Мейер Б. Объектно-ориентированное программирование и программная инженерия [Электронный ресурс] / Б. Мейер. — М. : ИнтернетУниверситет Информационных Технологий (ИНТУИТ), Ай Пи Эр Медиа, 2019. — 285 c. — Режим доступа: http://www.iprbookshop.ru/79706.html (дата обращения 15.03.2020 г.).
Сайт аналитической компании IDC [Электронный ресурс] – Режим доступа: http://idc.com (дата обращения 15.03.2020 г.).
Тольяттинский государственный опорный университет. Официальный сайт. [Электронный ресурс] – Режим доступа: https://www.tltsu.ru (дата обращения 27.05.2020 г.).
Azure Cosmos DB. Мультимодельная, глобально распределенная служба базы данных для любого масштаба [Электронный ресурс] – Режим доступа: https://azure.microsoft.com/ru-ru/services/cosmos-db/ (дата обращения 27.05.2020г.).
Biehn Neil. The Missing V’s in Big Data: Viability and Value / Neil Biehn. [Электронный ресурс] – Режим доступа: https://www.wired.com/insights/2013/05/the-missing-vs-in-big-data-viability-andvalue/ (дата обращения 27.05.2020 г.).
Azure.microsoft.com. 2021. Run open-source analytics with Azure | Microsoft Azure. [online] Available at: [Accessed 7 April 2021].
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
4.8 (105 отзывов)
4.8 (40 отзывов)
5 (22 отзыва)
4.9 (826 отзывов)
4.9 (20 отзывов)
4.8 (373 отзыва)
4.9 (298 отзывов)
4.9 (66 отзывов)
4.9 (343 отзыва)
