Однородный программный интерфейс для параллельных вычислений на кластере

Петряков Иван Владимирович
Бесплатно
В избранное
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

Существует множество фреймворков и языков программирования для параллельных и распределенных вычислений, которые успешно применяются как в промышленности, так и в академических кругах. Автор считает, что расширить этот набор можно с помощью уже существующих языков программирования и написанных на них библиотек. Однако, эти библиотеки не приспособлены к работе на кластере. В этой работе изучается возможность адаптации функционального языка с помощью специальных управляющих объектов – ядер. Также демонстрируется, возможность построить высокоуровневый интерфейс для функционального языка, который полностью скрывает все трудности, с которыми сталкивается программист при работе с распределенными системами.

Текущие исследования по созданию интерфейса программирования
высокого уровня для суперкомпьютеров и кластеров направлены на то,
чтобы
• изменить существующий функциональный язык для параллельного
выполнения программы, написанной на этом языке, в кластере;
• создать движок, позволяющий выполнять направленный ациклический
граф задач (программ или скриптов) на кластере с учетом их
зависимостей.
Преимущество первого подхода заключается в том, что если у вас уже
есть последовательная программа, написанная на функциональном языке, вы
можете выполнить ее на кластере с использованием либо компилятора,
который генерирует параллельный код, либо библиотеки, которая
предоставляет те же функциональные формы (например, map, reduce),
которые реализованы для параллельного выполнения на нескольких узлах
кластера. Однако этот подход представляет некоторые сложности: обработка
спекулятивного выполнения различных ветвей кода и устойчивость к сбоям
узлов кластера. Вероятно, главный недостаток этого подхода заключается в
том, что на функциональных языках написано не так много
высокопроизводительных приложений: большинство из них написано на
низкоуровневых императивных языках по соображениям эффективности, и
этот подход не предоставляет средств для их выполнения в кластере.
Преимущество второго метода по сравнению с подходом на
функциональном языке состоит в том, что он позволяет выполнять
произвольные программы и сценарии в кластере и определять
информационные зависимости между ними. К сожалению, большинство
механизмов рабочих процессов используют XML для определения задач, их
аргументов и зависимостей. Этот подход неэффективен, поскольку XML не
является языком программирования, и добавление тегов, представляющих
циклы, условные выражения и другие важные конструкции потока
управления, приводит к созданию языка сценариев с синтаксисом языка
разметки – возможно, наиболее неинтуитивно понятным и многословным
способом написания программ. Несмотря на эти недостатки, существуют
реализации потоков задач, которые популярны и достаточно развиты, чтобы
их можно было использовать для решения реальных проблем.
Таким образом, можно сказать, что функциональный подход не
является достаточно высокоуровневым, чтобы его можно было использовать
для написания сценариев, выполняющих существующие программы в
сложном потоке задач, а потоки задач слишком высокоуровневы для
написания сценариев общего назначения. Причина отсутствия
промежуточного подхода заключается в том, что планировщики пакетных
заданий предоставляют интерфейс для выделения узлов кластера и запуска
на них любого исполняемого файла, но интерфейс для написания
параллельных программ (MPI) – это просто библиотека, которая динамически
связывается с исполняемым файлом и не предоставляется планировщиком.
Функциональный подход часто основан на использовании библиотеки MPI, а
потоки задач основаны на интерфейсе планировщика пакетных заданий. Это
создает разрыв между технологиями, который не позволяет создать
универсальный и унифицированный интерфейс для выполнения вычислений
в кластере, и заставляет выбрать один из двух подходов.
В то же время планировщики заданий, которые используются при
анализе больших данных, такие как YARN [21], не имеют этой проблемы,
поскольку они предоставляют низкоуровневый интерфейс на основе Java для
запуска приложений. Различные среды программирования, такие как Apache
Hadoop [1] и Apache Storm [2], построены поверх этого интерфейса, чтобы
обеспечить интерфейс высокого уровня для написания определенных видов
программ, таких как пакетная обработка или работа в реальном времени.
Существуют интерфейсы более высокого уровня, такие как Oozie [11]. Эта
иерархическая архитектура позволяет выбрать правильный уровень
абстракции для программы и представляет собой единый интерфейс для
запуска приложений на кластере.
Существует множество фреймворков и языков программирования для
параллельных и распределенных вычислений [17, 19, 22, 23], которые
успешно применяются как в промышленности, так и в академических кругах,
однако все они изолированы и самодостаточны. Основная причина
отсутствия общего знаменателя между этими фреймворками и языками
заключается в том, что нет протокола или низкоуровневого языка для
распределенных вычислений. Для последовательных вычислений у нас есть
байт-код (например, LLVM [13], байт-код Java, байт-код Guile), который
используется в качестве промежуточного, переносимого и универсального
представления программы, написанной на любом языке; также у нас есть
ассемблер, который не является переносимым, но все же является
популярным промежуточным представлением.
Почему общий низкоуровневый язык существует для
последовательных вычислений, но не существует для параллельных и
распределенных вычислений? Одна из причин, которая относится как к
распределенным, так и к параллельным вычислениям, заключается в том, что
люди все еще думают о программах как о последовательности шагов – так же,
как люди сами выполняют сложные задачи. Императивные языки, на
которых программы записываются в виде последовательности шагов, по-
прежнему преобладают в промышленности и академических кругах; это
контрастирует с непопулярными функциональными языками, на которых
программы написаны как композиции функций без подразумеваемого
порядка вычислений. Другая причина, которая относится к распределенным
вычислениям, заключается в том, что эти вычисления по своей сути
ненадежны и не существует универсального подхода для обработки выхода
из строя узлов кластера. Хотя императивные языки позволяют писать более
эффективные программы, они не обеспечивают защиты от взаимных
блокировок и не гарантируют отказоустойчивость. Кроме того, их намного
сложнее писать, так как человеку приходится работать с изменяемым
состоянием (локальные и глобальные переменные, объекты и т. д.), и трудно
держать это состояние в голове при написании кода. Функциональные языки
минимизируют использование изменяемого состояния, обеспечивают
частичную защиту от взаимных блокировок (при условии, что программист
не использует блокировки вручную) и могут быть изменены для обеспечения
отказоустойчивости. С точки зрения автора, люди понимают потенциал
функциональных языков, но еще не осознали этот потенциал, чтобы
получить все их преимущества; люди осознали весь потенциал
императивных языков, но не знают, как избавиться от их недостатков.

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Петр П. кандидат наук
    4.2 (25 отзывов)
    Выполняю различные работы на заказ с 2014 года. В основном, курсовые проекты, дипломные и выпускные квалификационные работы бакалавриата, специалитета. Имею опыт напис... Читать все
    Выполняю различные работы на заказ с 2014 года. В основном, курсовые проекты, дипломные и выпускные квалификационные работы бакалавриата, специалитета. Имею опыт написания магистерских диссертаций. Направление - связь, телекоммуникации, информационная безопасность, информационные технологии, экономика. Пишу научные статьи уровня ВАК и РИНЦ. Работаю техническим директором интернет-провайдера, имею опыт работы ведущим сотрудником отдела информационной безопасности филиала одного из крупнейших банков. Образование - высшее профессиональное (в 2006 году окончил военную Академию связи в г. Санкт-Петербурге), послевузовское профессиональное (в 2018 году окончил аспирантуру Уральского федерального университета). Защитил диссертацию на соискание степени "кандидат технических наук" в 2020 году. В качестве хобби преподаю. Дисциплины - сети ЭВМ и телекоммуникации, информационная безопасность объектов критической информационной инфраструктуры.
    #Кандидатские #Магистерские
    33 Выполненных работы
    Антон П. преподаватель, доцент
    4.8 (1033 отзыва)
    Занимаюсь написанием студенческих работ (дипломные работы, маг. диссертации). Участник международных конференций (экономика/менеджмент/юриспруденция). Постоянно публик... Читать все
    Занимаюсь написанием студенческих работ (дипломные работы, маг. диссертации). Участник международных конференций (экономика/менеджмент/юриспруденция). Постоянно публикуюсь, имею высокий индекс цитирования. Спикер.
    #Кандидатские #Магистерские
    1386 Выполненных работ
    Евгений А. доктор, профессор
    5 (154 отзыва)
    Более 40 лет занимаюсь преподавательской деятельностью. Специалист в области философии, логики и социальной работы. Кандидатская диссертация - по логике, докторская - ... Читать все
    Более 40 лет занимаюсь преподавательской деятельностью. Специалист в области философии, логики и социальной работы. Кандидатская диссертация - по логике, докторская - по социальной работе.
    #Кандидатские #Магистерские
    260 Выполненных работ
    Родион М. БГУ, выпускник
    4.6 (71 отзыв)
    Высшее экономическое образование. Мои клиенты успешно защищают дипломы и диссертации в МГУ, ВШЭ, РАНХиГС, а также других топовых университетах России.
    Высшее экономическое образование. Мои клиенты успешно защищают дипломы и диссертации в МГУ, ВШЭ, РАНХиГС, а также других топовых университетах России.
    #Кандидатские #Магистерские
    108 Выполненных работ
    Мария Б. преподаватель, кандидат наук
    5 (22 отзыва)
    Окончила специалитет по направлению "Прикладная информатика в экономике", магистратуру по направлению "Торговое дело". Защитила кандидатскую диссертацию по специальнос... Читать все
    Окончила специалитет по направлению "Прикладная информатика в экономике", магистратуру по направлению "Торговое дело". Защитила кандидатскую диссертацию по специальности "Экономика и управление народным хозяйством". Автор научных статей.
    #Кандидатские #Магистерские
    37 Выполненных работ
    Анастасия Л. аспирант
    5 (8 отзывов)
    Работаю в сфере метрологического обеспечения. Защищаю кандидатскую диссертацию. Основной профиль: Метрология, стандартизация и сертификация. Оптико-электронное прибост... Читать все
    Работаю в сфере метрологического обеспечения. Защищаю кандидатскую диссертацию. Основной профиль: Метрология, стандартизация и сертификация. Оптико-электронное прибостроение, управление качеством
    #Кандидатские #Магистерские
    10 Выполненных работ
    Ольга Р. доктор, профессор
    4.2 (13 отзывов)
    Преподаватель ВУЗа, опыт выполнения студенческих работ на заказ (от рефератов до диссертаций): 20 лет. Образование высшее . Все заказы выполняются в заранее согласован... Читать все
    Преподаватель ВУЗа, опыт выполнения студенческих работ на заказ (от рефератов до диссертаций): 20 лет. Образование высшее . Все заказы выполняются в заранее согласованные сроки и при необходимости дорабатываются по рекомендациям научного руководителя (преподавателя). Буду рада плодотворному и взаимовыгодному сотрудничеству!!! К каждой работе подхожу индивидуально! Всегда готова по любому вопросу договориться с заказчиком! Все работы проверяю на антиплагиат.ру по умолчанию, если в заказе не стоит иное и если это заранее не обговорено!!!
    #Кандидатские #Магистерские
    21 Выполненная работа
    Екатерина С. кандидат наук, доцент
    4.6 (522 отзыва)
    Практически всегда онлайн, доработки делаю бесплатно. Дипломные работы и Магистерские диссертации сопровождаю до защиты.
    Практически всегда онлайн, доработки делаю бесплатно. Дипломные работы и Магистерские диссертации сопровождаю до защиты.
    #Кандидатские #Магистерские
    1077 Выполненных работ
    Егор В. кандидат наук, доцент
    5 (428 отзывов)
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Ск... Читать все
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Скорее всего Ваш заказ будет выполнен раньше срока.
    #Кандидатские #Магистерские
    694 Выполненных работы

    Другие учебные работы по предмету