Метод и алгоритмы назначения заданий в распределенной информационной системе Интернета вещей
Введение……………………………………………………………………………………………………………4
Глава 1. Анализ концепции распределенных вычислений на основе Интернета
вещей……………………………………………………………………………………………………………….13
1.1 Интернет вещей………………………………………………………………………………………14
1.2 Обработка информации в системах Интернета вещей……………………………….17
1.3 Параллельные и распределенные вычислительные системы……………………..22
1.4 Кластерные вычислительное системы……………………………………………………..25
1.5 Разработка программ для распределенных вычислительных систем…………30
1.6 Планирование заданий в распределенной информационной системе
Интернета вещей…………………………………………………………………………………………..35
1.7 Машинное обучение………………………………………………………………………………..38
1.8 Обучение с подкреплением………………………………………………………………………43
1.9 Выводы по первой главе………………………………………………………………………….46
Глава 2. Разработка модели системы назначения заданий на основе машинного
обучения с подкреплением……………………………………………………………………………….48
2.1 Постановка задачи назначения заданий……………………………………………………49
2.2 Общая структура модели машинного обучения с подкреплением……………..51
2.3 Цель агента и выгода……………………………………………………………………………….55
2.4 Определение ценности действия………………………………………………………………59
2.5 Выбор следующего действия……………………………………………………………………64
2.6 Выводы по второй главе…………………………………………………………………………..67
Глава 3. Метод назначения заданий в распределенной информационной системе
Интернета вещей………………………………………………………………………………………………68
3.1 Этапы преобразования программы…………………………………………………………..69
3.2 Формирование вычислительных заданий…………………………………………………71
3.3 Модель вычислительного узла…………………………………………………………………72
3.4 Функция вознаграждения………………………………………………………………………..74
Стр
3.5 Алгоритм распределения заданий по вычислительным узлам…………………..76
3.6 Модифицированный алгоритм распределения заданий по вычислительным
узлам……………………………………………………………………………………………………………79
3.7 Особенности работы алгоритма назначения заданий………………………………..85
3.8 Выводы по третьей главе…………………………………………………………………………86
Глава 4. Экспериментальная оценка и результаты исследования эффективности
метода назначения заданий на основе машинного обучения с подкреплением……88
4.1 Разработка программного обеспечения моделирования назначения заданий
на основе машинного обучения с подкреплением………………………………………….88
4.2 Выбор технологии взаимодействия между узлами РИСИВ……………………….91
4.3 Разработка методики и программы экспериментальных исследований……..99
4.4 Исследование поведения модели назначения заданий……………………………..101
4.5 Реализация алгоритма трассировки луча на РИСИВ……………………………….112
4.6 Результаты эксперимента и анализ экспериментальных данных……………..122
4.7 Рекомендации по применению системы назначения заданий в РИСИВ……126
4.8 Выводы по четвертой главе……………………………………………………………………127
Общие выводы и заключение………………………………………………………………………….129
Список использованных источников……………………………………………………………….131
Во введении обоснована актуальность темы диссертации, cформулированы
цель и основная задача исследования. Приведены научная новизна, основные поло-
жения, выносимые на защиту, и практическая ценность. Представлена общая харак-
теристика работы и краткое содержание её глав.
В первой главе проведён анализ характеристик, ограничений и возможностей
инфраструктуры ИВ как распределённой информационной системы. Рассмотрены су-
ществующие подходы для реализации параллельных и распределенных вычислитель-
ных систем. Проведён анализ методов машинного обучения применительно к про-
цессу назначения заданий вычислительным узлам в РИСИВ. В результате анализа вы-
бран метод машинного обучения с подкреплением, который позволяет учитывать спе-
цифику устройств ИВ. Рассмотрены элементы метода обучения с подкреплением.
Во второй главе осуществлена постановка задачи, формальное описание кото-
рой основано на задаче оптимального отображения графа алгоритма на граф парал-
лельной вычислительной системы, приведена модель РИСИВ и метод назначения за-
даний её вычислительным узлам.
Задача назначения заданий в РИСИВ определена как отображение ацикличе-
ского графа ⟨ , ⟩ , описывающего вычислительный алгоритм с заданиями в верши-
нах и информационными связями между узлами в ребрах, на граф ⟨ , ⟩, описываю-
щего РИСИВ с вычислительными узлами в вершинах и пропускной способностью
линий связи между узлами в ребрах. Тогда отображающая матрица имеет вид:
= ( , , ∈ [1, ℕ| | ], ∈ [1, ℕ| | ]).(1)
Решение задачи назначения заданий вычислительным узлам в РИСИВ
определяется критерием оптимальности отображения над матрицей , а решением
задачи является матрица ∗ , такая что
( ) = ( ∗ ).(2)
∈
Данная задача является NP-полной, и её решение на основе полного перебора
невозможно в условиях постоянного изменения характеристик вычислительных узлов
РИСИВ. Однако использование подхода, в основе которого лежит модель машинного
обучения с подкреплением, позволяет подойти к решению указанной задачи (решение
близко к оптимальному на бесконечном интервале времени).
В основе метода назначения заданий вычислительным узлам в РИСИВ лежит
модель машинного обучения с подкреплением (Рисунок 1), где в роли агента выс-
тупает распределяющий узел, а в роли окру-
жающей среды – вычислительные узлы на ос-
нове устройств ИВ. Стратегия поведения аген-
та определяется активным воздействием на
среду путем тестирования множества действий
at ∈ и получения ответной реакции в виде
множества сигналов вознаграждения ∈ ℝ в
каждый момент времени . Цель агента заклю-
Рисунок 1. Модель машинногочатся в максимизации ожидаемого вознаграж-
обучения с подкреплением
дения, что означает поиск действия, дающего наиболее высокое вознаграждение в
долгосрочной или краткосрочной перспективе.
Максимизация ожидаемого вознаграждения определяется поведением агента в
РИСИВ и основывается на -жадной стратегии, которая учитывает текущие
характеристики вычислительных узлов и каналов связи. Когда агент собирается
выполнить действие, он просматривает оценочные значения ожидаемых вознаграж-
дений для каждого действия и выбирает то, у которого наибольшее значение. Факти-
ческая ценность действия задаётся как ( ) , а предполагаемое значение этого
действия при работе РИСИВ за время обозначается как ( ) , тогда ценность
действия определяется следующим образом:
( ) = 0,если = 0;
(3)
{1
( ) =⋅ ∑ , если ≠ 0.
=1
В случае выбора действия к моменту времени ровно раз получается
последовательность вознаграждений 1 , 2 , … , . Все виды выполняемых агентом
последовательностей взаимодействий с окружающей средой в РИСИВ: непрерывные
задания (имеющие завершающий временной шаг T) и задания, состоящие из эпизодов
(T = ∞) – формируют сумму всех вознаграждений:
T
= ∑ + +1 .(4)
=0
Изменение поведения агента основывается на вероятности выбора очередного
действия при взаимодействии с окружающей средой и задаётся параметром ∈ [0; 1],
определяемым как:
∗ ,с вероятностью 1 − ;
= [(5)
случайное действие, с вероятностью .
Согласно -жадной стратегии для агента задаются режимы взаимодействия с
окружающей средой на основе изменения параметра :
– при = 1, режим исследования среды – выбор узлов случайным образом;
– при = 0, режим эксплуатации среды – выбираются узлы, которые приводят к
наибольшему вознаграждению;
– при (0; 1) – одновременное совмещение режима исследования среды и ре-
жима эксплуатации среды.
Решение об изменении поведения выполняется на основе оценки ценности
совокупности действий при работе агента:
1(6)
= −1 + [ − −1 ].
Состояние вычислительных узлов в РИСИВ может оставаться постоянным или
изменяться, то есть окружающая среда рассматривается как в стационарном, так и в
нестационарном состояниях. В стационарном состоянии реакция среды на действия
агента не изменяется, поэтому оценка вознаграждения для каждого действия со
временем не меняется. В нестационарном состоянии реакция среды изменяется со
временем, при этом оценка вознаграждений определяется следующим образом:
= −1 + α[ − −1 ] .(7)
Машинное обучение с подкреплением лежит в основе метода назначения
заданий вычислительным узлам в предложенной в работе модели РИСИВ (Рисунок 2).
Рисунок 2. Структурная схема РИСИВ
Метод назначения заданий в РИСИВ для выполнения вычислительной задачи
определяет наиболее подходящий вычислительный узел для назначения задания
согласно этапам:
1) формирование вычислительного графа задачи. Исходная вычислительная
задача представляется в форме вычислительного графа, который позволяет
определитьпоследовательностьивзаимосвязьдискретныхэлементов
вычислительной задачи (заданий) друг с другом;
2) формирование последовательности заданий;
3) передача последовательности заданий на распределяющий узел;
4) опрос устройств ИВ распределяющим узлом и формирование функции
ценности на основе получаемых вознаграждений;
5) назначение и отправка заданий на устройства ИВ согласно функции ценности;
6) получение от вычислительных узлов выполненных заданий и изменение
значений алгоритма при необходимости.
В третьей главе приводится модель вычислительного узла и алгоритм
назначения заданий вычислительным узлам от распределяющего узла в РИСИВ,
которые основываются на предложенных в главе 2: модели РИСИВ, формальном
описании, методе и стратегии назначении заданий.
Модель вычислительного узла РИСИВ учитывает готовность конкретного
вычислительного узла принять на исполнение очередное задание от распределяющего
узла. Описание модели задается в виде:
= ( , , ),(8)
где
= ( , , ).(9)
Параметр Reward является интегральной характеристикой компонентов (9),
которые определяются множеством параметров вычислительного узла и
рассчитываются по формуле:
(10)
= ∑ ,
=1
где – значение параметра, – нормирующий коэффициент.
Поскольку определить количество параметров и степень их влияния на общее
значение вознаграждения зачастую не представляется возможным (также учитывая,
что параметры меняются в каждый момент времени), то в качестве функции
вознаграждения в частном случае предлагается использовать функцию от времени
оборота задания:
= ( ) .(11)
Анализ модели машинного обучения с подкреплением позволяет перейти от
работы агента с окружающей средой к составлению алгоритма, который реализует
поведение модели в контексте назначения заданий вычислительным узлам.
Алгоритм назначения заданий для стационарного и нестационарного состояний:
Этап инициализации.
Шаг 0. Инициализация последовательности заданий распределяющим узлом в
РИСИВ.
Этап исследования.
Шаг 1. Всем вычислительным узлам отправляется запрос от распределяющего
узла на получение от них интегральных характеристик, каждая из которых является
значением сигнала вознаграждения каждого вычислительного узла и строится на
основе его характеристик.
Шаг 2. Распределяющим узлом преобразуется полученные интегральные
характеристики в значения вероятностей. Данные вероятности используются
распределяющим узлом для выбора вычислительного узла для назначения и отправки
задания.
Этап эксплуатации.
Шаг 3. Распределяющий узел отправляет задания на вычислительные узлы и
старается получить максимальное значение сигнала вознаграждения и, в общем,
максимизировать общее вознаграждение на длительном промежутке времени.
Шаг 4. При получении выполненных заданий, распределяющий узел
пересчитывает значения сигналов вознаграждения, поскольку с выполненными
заданиями передается также информация о текущем состоянии РИСИВ и
вычислительных узлов.
Шаг 5. Если в последовательности заданий нет невыполненных заданий, то
выполняется переход на Шаг 6, иначе переход на Шаг 3 (для стационарного состояния)
или переход на Шаг 1 (для нестационарного состояния).
Шаг 6. Конец алгоритма.
Алгоритм одновременно может работать как со стационарной средой, так и с
нестационарной. Для стационарного состояния значение параметра должно прибли-
жаться к 0, но не достигать его. В случае существенной изменчивости среды значение
стремится к 1, что позволяет алгоритму «исследовать» новые вычислительные узлы.
Инициализация значением близким к 1 в случае со статической средой не сущес-
твенно влияет на процесс распределения заданий, в то время как задание параметра
близким к 0 для динамической среды может привести к неэффективному выполнению
вычислительного процесса вплоть до полной невозможности его осуществления.
Схема алгоритма приведена на Рисунке 3.
Рисунок 3. Схема алгоритма назначения заданий
Корректировка значения параметра во время работы алгоритма позволяет
улучшить качество функционирования РИСИВ и в случае наличия информации о
состоянии вычислительных узлов (вознаграждении), и в случае её отсутствия. Когда
априорная информация отсутствует в начале работы РИСИВ, тогда предполагается,
что система нестационарная, а её характеристики подвержены существенным измене-
ниям, в этом случае параметр устанавливается близким к 1. По мере выполнения
работы распределяющий узел накапливает статистику по изменениям сигнала возна-
граждения каждого вычислительного узла и уменьшает значение до тех пор, пока
производительность РИСИВ не достигает стабильного значения.
Алгоритм назначения заданий обеспечивает близкое к оптимальному решение
на достаточно длинном промежутке времени, даже если среда будет переходить из
стационарного состояния в нестационарное, и наоборот.
На основе алгоритма назначения заданий была разработана его модификация,
которая позволяет реализовать возможность назначения заданий группам
вычислительных узлов с дальнейшим распределением заданий вычислительным
узлам внутри групп. Роль распределяющего узла начинают выполнять другие
вычислительные узлы. Кластеры вычислительных узлов выделяются на основе
алгоритма нечёткой кластеризации C-средних. Модифицированный алгоритм:
Этап инициализации.
Шаг 0. Инициализация последовательности заданий и начальных значений в
РИСИВ.
Этап исследования.
Шаг 1. Распределяющий узел опрашивает все вычислительные узлы в РИСИВ,
и получает от каждого соответствующий , сформированный вычислительным
узлом согласно модели вычислительного узла. Полученные преобразуются
распределяющим узлом.
Шаг 2. На основе каждый вычислительный узел сопоставляется
распределяющим узлом кластеру или нескольким кластерам с использованием
алгоритма нечёткой кластеризации C-средних. Распределяющий узел хранит запись
разделения всех вычислительных узлов по кластерам. В случае изменений,
производится пересчёт принадлежности к кластерам, и запись обновляется на
распределяющем узле (всем вычислительным узлам, находящимся в пределах
кластера, сообщаются данные о нахождении в этом кластере остальных узлов):
1(11)
=
,
∑ =1()2/( −1)
∑
=1 (12)
=.
∑
=1
Шаг 3. Для получения данных о результате разбиения по кластерам каждый узел
отправляет запрос распределяющему узлу. В ответ он получает запись своего или
своих кластеров и находящихся в них узлов. Если одна из характеристик узла
меняется, выполняется переход на Шаг 2.
Этап эксплуатации.
Шаг 4. При наличии вычислительного задания на назначение вычислительный
узел перенимает на себя роль распределяющего узла. И производит выбор другого
вычислительного узла в пределах кластера на назначение. При принадлежности узла,
имеющего задание, нескольким кластерам одновременно, предпочтение на
рассмотрение отдаётся узлам кластера, которые имеют наибольшую степень
принадлежности к этому кластеру. Дальнейшая последовательность шагов
выполняется согласно разработанному методу и алгоритму назначения заданий от
распределяющего узла к вычислительным узлам.
Шаг 5. Отправка значений вознаграждений вычислительными узлами
распределяющему узлу внутри кластера.
Шаг 6. Расчет оптимального узла для назначения задания. В случае отсутствия
возможности назначения задания происходит переход на Шаг 2.
Шаг 7. Назначение задания узлу.
Шаг 8. Конец алгоритма.
В четвёртой главе представлена техническая реализация РИСИВ.
Представлены результаты исследования разработанного метода и алгоритмов.
Рассматривается работа базового и модифицированного алгоритмов назначения при
различных значениях характеристик и типах поведения вычислительных узлов
(стационарном и нестационарном состояниях). Осуществляется тестирование
функционирования РИСИВ на примере задачи трассировки лучей. Даются
рекомендации по применению метода и алгоритмов для реализации и проведения
распределенных вычислений на РИСИВ.
В РИСИВ могут быть включены вычислительные узлы на базе
микропроцессоров ARM, ATmega, Intel. Однако ограничений на тип, компоненты,
протоколы и параметры вычислительных узлов не накладывается, поскольку
обеспечено абстрагирование от особенностей аппаратной реализации и
проприетарных протоколов устройств ИВ с помощью установки виртуальной
машины Java на всех устройствах и узлах РИСИВ. Взаимодействие узлов
обеспечивается технологией Java – RMI по клиент-серверной архитектуре:
распределяющий узел выполняет роль клиента, а вычислительный узел – сервера.
Исследование и эксперименты в данной работе состоят из следующих частей:
1) исследование поведения модели назначения заданий: исследование поведе-
ния алгоритма при стационарном состоянии; исследование поведения алгоритма при
нестационарном состоянии;
2) исследование поведения алгоритма при его модификации и
модифицированном методе в стационарном и нестационарном состояниях;
3) тестирование работы алгоритма при выполнении задачи трассировки лучей.
При исследовании поведения РИСИВ в стационарном режиме используются
следующие условия:
– распределяющий узел в РИСИВ один;
– в процессе работы алгоритма на всех итерациях распределяющий узел не
меняется;
– количество вычислительных узлов в РИСИВ постоянно и не меняется со
временем;
– значение для каждого эксперимента принимает единственное значение из
последовательности [0; 0,001; 0,05; 0,25; 0,1; 0,2; 0,3; 0,4; 0,5; 1] и сохраняет это
значение на всём протяжении работы одной итерации алгоритма; под итерацией
принимается назначение всех заданий одной задачи вычислительным узлам РИСИВ.
Рисунок 4. Средняя скорость достижения оптимальной стратегии выбора
наилучшего действия (из 5 действий) при 1000 симуляциях
Рисунок 5. Среднее суммарное значение вознаграждения (5 действий)
при 1000 симуляциях
С ростом числа вычислительных узлов (действий), включаемых в РИСИВ,
увеличивается и время, при котором алгоритму требуется перейти в режим
эксплуатации из режима исследования.
Исследования РИСИВ при нестационарном состоянии осуществляется со сле-
дующими условиями:
– распределяющий узел в РИСИВ один;
– распределяющему узлу в качестве действий доступны только вычислительные
узлы в РИСИВ;
– в процессе работы алгоритма на всех итерациях распределяющий узел не
меняется;
– количество вычислительных узлов в РИСИВ постоянно и не меняется со
временем;
– параметр в процессе работы алгоритма стремится к полностью жадному
поведению, то есть из режима исследования = 1 стремится к режиму эксплуатации
= 0;
Рисунок 6. Среднее значение вознаграждения (5 действий)
при 100 симуляциях
Для исследования поведения алгоритма при его модификации и модифи-
цированном методе в стационарном и нестационарном состояниях принимается:
– распределяющий узел для кластеров один, однако внутри каждого кластера
выделяются собственный распределяющий узел, который меняется со временем; рас-
пределяющим узлом внутри кластера становится тот, который имеет задание на
распределение;
– количество кластеров постоянно;
– количество вычислительных узлов РИСИВ и в кластерах изменяется;
– параметр = 0,1 и индекс нечеткости = 2.
На Рисунке 7 в левой части указаны устройства ИВ до процесса кластеризации,
в правой части после кластеризации.
Рисунок 7. Кластеры вычислительных узлов
После выявления кластеров функционирование метода и алгоритма сосредота-
чивается на поиске и назначении задания и соответствует поведению алгоритма для
стационарного состояния (Рисунок 4, 5) и для нестационарного состояния (Рисунок 6).
Таким образом, демонстрируется возможность формирования кластеров вычисли-
тельных узлов при реализации РИСИВ.
Применимость метода назначения заданий вычислительным узлам, основанном
на машинном обучении с подкреплением, в РИСИВ показывается на примере вычис-
лительной задачи из области компьютерной графики, имеющей высокую степень рас-
параллеливания: задача трассировки лучей, формирования двухмерных изображений
по модели трехмерной сцены (устройство РИСИВ показано на Рисунке 8).
Рисунок 8. Архитектура РИСИВ для назначения задания
трассировки луча
В качестве характеристик, демонстрирующих функционирование РИСИВ
согласно предложенным и реализованным: модели РИСИВ, методу и алгоритму
назначения заданий — было рассмотрено следующее:
– зависимость времени, затраченного на решение вычислительной задачи, от
количества вычислительных узлов (от 2 до 15 устройств ИВ);
– зависимость времени, затраченного на обработку одного задания одним
устройством ИВ, от количества вычислительных узлов;
– зависимость времени, затраченного на выполнения всей задачи по трасси-
ровке лучей, от количества пикселей (разрешения) формируемого двухмерного изоб-
ражения.
Совокупность последовательности заданий задачи трассировки лучей равна
10 000 при канве 100х100
пикселей. При добавлении
числа вычислительных уз-
лов в РИСИВ время выпол-
нения вычислительной за-
дачи снижается (Рису-
нок 9). Можно отметить,
что время решения задачи
является одинаковым в
случае для двух и четырёх
вычислительных узлов в
РИСИВ: при двух – алго-
Рисунок 9. Время выполнения задачиритм ограничен в выборе
узла, для четырех – алго-
ритму требуется время на пересчет модели, далее накладные расходы снижаются.
На Рисунке 10 показана зависимость времени выполнения одного задания от
количества вычислительных узлов. В случае, когда количество вычислительных уз-
лов более пяти, среднее
время обработки одного
задания имеет минималь-
ный разброс. Учитывая
накладные расходы на
выбор, переназначение
узлов (в случае отсут-
ствия ответа от устрой-
ства ИВ) время выполне-
ния одного задания несу-
щественно отличается от
среднего времени. С уве-
Рисунок 10. Время выполнения одного заданияличением количества вы-
числительных узлов (более 5 устройств ИВ), когда алгоритм назначения заданий в
РИСИВ находится в стабильном состоянии, время выполнения одного задания пере-
стает зависеть от количества используемых в РИСИВ устройств ИВ.
Результаты оценки времени выполнения вычислительной задачи трассировки лучей
в зависимости от размера изображения приведены на Рисунке 11. В случае увеличе-
ния числа заданий время обработки, затраченное на построение одного изображения,
также увеличивается в РИСИВ, при этом кривая графика времени растет быстрее, чем
линейно (что соответ-
ствует закону Амдала).
Полученные в ра-
боте результаты соответ-
ствуют результатам ис-
следований параллель-
ных и распределенных
вычислительных систем,
как в аспекте выполне-
ния одного задания на
вычислительномузле,
так и в общем времени
Рисунок 11. Время выполнения задачивыполнения задачи на
слабосвязанных вычислительных системах, построенных на основе классических
подходов, а также соответствуют результатам, которые получены исследователями в
области суперкомпьютерных и облачных систем.
Таким образом, проведенные эксперименты и полученные результаты демон-
стрируют возможность использования, а также подтверждают работоспособность
РИСИВ, как нового типа вычислительных мощностей, для выполнения вычислитель-
ных задач на основе разработанных: модели, метода и алгоритма назначения.
Анализ результатов эксперимента позволяет выработать ряд практических
рекомендаций по использованию метода назначения заданий вычислительным узлам
РИСИВ для выполнения вычислительной задачи:
1) величина параметра оказывает существенное влияние на скорость
стабилизации системы, но в общем случае его значение не столь существенно, так как
система в любом случае перейдет в стабильное состояние (только с различной
скоростью), обеспечивая баланс между этапами исследования и эксплуатации, но тем
не менее стоит избегать значений параметра близкие к 0 и 1; в общем случае
рекомендуется выбирать значения из диапазона [0,1… 0,9] с шагом 0,1;
2) необходимо подобрать значение параметра ε в зависимости от поведения
вычислительных узлов РИСИВ: при высокой степени изменяемости вычислительных
узлов необходимо брать значение больше, если параметры вычислительных узлов
меняются сравнительно редко, то значение ε взять меньше;
3) при существенном изменении параметров вычислительных узлов предло-
женный метод распределения заданий позволяет получить итоговый результат
решения задачи независимо от закономерностей изменения параметров узлов; при
увеличении количества узлов среднее значение вознаграждения будет приближаться
к значениям при работе в стационарном режиме;
4) при большом количестве вычислительных узлов в РИСИВ (более 10)
значение среднего времени выполнения одного задания достигает некоторой
постоянной величины, что позволяет оценить общее время выполнения
вычислительной задачи;
5) учитывая, что время выполнения задачи в зависимости от количества
входных данных растет быстрее, чем линейная функция, то увеличение количества
вычислительных узлов не ведет к такому же росту производительности;
6) для некоторых задач, требующих значительных вычислений, при
увеличении количества вычислительных узлов в РИСИВ можно проводить их
группировку и вводить промежуточные распределяющие узлы на наиболее надежных
устройствах ИВ, что позволит уменьшить величину широковещательного сетевого
трафика в каналах передачи данных.
ОСНОВНОЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ
1. На основе анализа объектов Интернета вещей, распределенных вычислитель-
ных систем и методов машинного обучения сделан вывод о возможности построения
РИСИВ на основе устройств Интернета вещей при использовании машинного обуче-
ния с подкреплением.
2. Формальная постановка задачи назначения (распределения) заданий позво-
ляет подойти к рассмотрению вычислительной задачи в виде графа, который преоб-
разуется в последовательность заданий, отправляемых вычислительным узлам
РИСИВ.
3. На основе модели машинного обучения с подкреплением разработан метод
назначения (распределения) заданий по узлам распределенной информационной си-
стемы; метод позволяет учитывать особенности каждого вычислительного узла и со-
стояние каналов связи между ними.
4. На основе анализа стационарной/нестационарной среды и изменения e-жад-
ной стратегии среди одного агента и множества действий для модели машинного обу-
чения с подкреплением стало возможным построение алгоритма, который положен в
основу РИСИВ.
5. Разработано программное обеспечение, реализующее метод назначения зада-
ний вычислительным узлам на основе машинного обучения с подкреплением и поз-
воляющее реализовать РИСИВ.
6. Для определения эффективности предложенного метода назначения заданий
были проведены исследования поведения модели машинного обучения с подкрепле-
нием при различных вариациях параметров работы модели, а также по выполнению
задачи трассировки луча и при модификации организации способа взаимодействия
устройств ИВ с минимальным участием распределяющего узла. Анализируя получен-
ные экспериментальные данные, были предложены практические рекомендации и ме-
тодика по использованию РИСИВ на основе машинного обучения с подкреплением
для инженеров и исследователей, использующих устройства Интернета вещей в ка-
честве распределенной информационной системы для решения вычислительных за-
дач.
Актуальность работы. Во многих сферах человеческой деятельности
существует большое количество задач, требующих для своего решения
существенных вычислительных ресурсов. Для решения таких задач широко
применяются параллельные и распределенные вычислительные системы (такие
как системы грид-вычислений, облачные вычисления, вычислительные кластеры
и т. п.). В частности, использование распределенных вычислительных систем
лежит в основе проектов @Home, которые для обработки данных научных
исследований используют через Интернет простаивающие компьютеры
пользователей [1, 2].
В настоящее время широкое развитие и распространение получили
встраиваемые системы. В частности большую популярность набирают системы,
называемые Интернет вещей (ИВ, IoT – Internet of Things), основной идеей
которого является встраивание вычислительных модулей в объекты окружающего
мира [3]. Такие системы позволяют собирать информацию о состоянии и о
функционировании с большого количества объектов, передавая эти данные через
сети связи для дальнейшей обработки и анализа [4]. Интернет вещей получил
широкое распространение, в частности, в сфере здравоохранения для
мониторинга состояния здоровья, обеспечения процессов жизнеобеспечения [5].
Тенденция распространения ИВ позволяет сделать предположение, что в
ближайшее время количество подключенных к Интернету устройств ИВ превысят
количество подключенных персональных компьютеров всех видов (включая
ноутбуки, планшетные компьютеры) и мобильные телефоны (Рисунок В.1) [6].
Рисунок В.1. Прогноз увеличения числа подключенных к Интернету
устройств
Поскольку устройства ИВ являются вычислительными системами, то
возможно построение распределенной информационной системы с
вычислительными узлами на основе устройств ИВ (распределенная
информационная система Интернета вещей, РИСИВ). Помимо проблем присущих
классическим распределенным и параллельным вычислительным системам, в
информационной системе на основе устройств ИВ также добавляются
особенности встраиваемых систем: автономные источники питания, низкие
скорости передачи данных, использование процессоров с низким
энергопотреблением, высокие уровни помех в каналах связи, постоянное
перемещение устройств, гетерогенность вычислительных узлов. Поэтому
использование методов назначения заданий, которые применяются в классических
распределенных и параллельных вычислительных системах, становятся
неприменимым. Решение данной задачи возможно за счет использования методов,
которые могут учитывать особенности устройств ИВ, а также принимать решение
о назначении заданий вычислительным узлам с учетом полной неопределенности
структуры информационной системы на основе устройств ИВ.
Существующие методы назначения заданий, использующие генетические
алгоритмы, классическое машинное обучение и другие, обладают рядом
недостатков, такими как предположение об однородности вычислительных узлов,
либо требуют полную информацию о структуре соединений между
вычислительными узлами распределенной системы.
Поэтому является актуальной задача создания метода назначения заданий
вычислительным узлам, позволяющего использовать распределенную
информационную систему на основе устройств ИВ как единую вычислительную
систему, что позволит повысить степень использования вычислительных
мощностей устройств ИВ для решения вычислительных задач, к которым можно
отнести в частности:
– задачи имитационного моделирования [7, 8];
– научные вычисления по анализу данных экспериментов [9, 10];
– обработка мультимедиа-данных: видео, аудио, графических [11, 12], в том
числе в системах САПР (система автоматизации проектных работ) и АСТПП
(автоматизированная система технологической подготовки производства) [13, 14]);
– задачах цифровой обработки сигналов [15, 16];
– выполнения объемных вычислений, хранения и обработки данных эко-
системы промышленного ИВ [17].
В качестве основы для метода назначения заданий узлам распределенной
информационной системы выбрана модель на основе машинного обучения с
подкреплением, которая лишена недостатков, присущих другим методам
распределения заданий в распределенных и параллельных системах.
Цель исследования. Цель настоящей работы заключается в повышении
эффективности инфраструктуры ИВ путем переноса вычислительной нагрузки на
устройства ИВ за счет использования метода и алгоритмов назначения заданий
вычислительным узлам распределенной информационной системы на основе
устройств ИВ.
Объект исследования. Объектом исследования данной работы являются
распределенная информационная система на основе устройств Интернета вещей.
Предмет исследования. Предметом исследования является процесс
назначения вычислительных заданий узлам распределенной информационной
системы на основе устройств Интернета вещей.
Положения, выносимые на защиту. В соответствии с пунктами 3, 8 и 9
области исследований паспорта специальности 05.13.11 «Математическое и
программное обеспечение вычислительных машин, комплексов и компьютерных
сетей»:
«3. Модели, методы, алгоритмы, языки и программные инструменты для
организации взаимодействия программ и программных систем» (разработана
модель распределения заданий по вычислительным узлам на основе модели
машинного обучения с подкреплением, и программные инструменты выполнения
программы на распределенной информационной вычислительной системе на
основе объектов ИВ);
«8. Модели и методы создания программ и программных систем для
параллельной и распределенной обработки данных, языки и инструментальные
средства параллельного программирования» (разработан метод назначения
заданий вычислительным узлам распределенной информационной системы на
основе объектов ИВ);
«9. Модели, методы, алгоритмы и программная инфраструктура для
организации глобально распределенной обработки данных» (разработаны
алгоритмы и программное обеспечение для распределенной обработки данных на
распределенной информационной системе на основе объектов ИВ)
на защиту выносятся следующие положения:
1. Модель назначения заданий по вычислительным узлам на основе модели
машинного обучения с подкреплением.
2. Метод назначение заданий вычислительным узлам распределенной
информационной системы Интернета вещей на основе машинного обучения с
подкреплением, позволяющий динамически перенастраивать процедуру
распределения заданий по вычислительным узлам распределенной
информационной системы, характеристики которых могут изменяться в широких
пределах.
3. Алгоритмы распределенной информационной системы на основе
объектов Интернета вещей, позволяющие назначать задания вычислительным
узлам распределенной информационной системы в зависимости от их
характеристик и степени доступности
4. Рекомендации по применению системы назначения заданий при работе с
вычислительными узлами распределенной информационной системы на основе
устройств Интернета вещей.
Метод назначения. Для достижения поставленной в работе цели
использовались следующие методы исследования: теория принятия решений;
теория принятия решений в условиях неопределенности; системный анализ;
анализ процесса решения вычислительных задач на распределенных системах;
анализ методов машинного обучения; анализ методов машинного обучения с
подкреплением; моделирование взаимодействия агент-среда применительно к
данной задаче; экспериментальный анализ результатов работы модели
распределения заданий на основе машинного обучения с подкреплением.
Персоналии. Существенный вклад в область машинного обучения с
подкреплением внесли М.Л. Цетлин, Р. Саттон и другие.
В области высокопроизводительных вычислительных систем
(параллельного и распределенного типа) общего и специального назначения
внесли В. Воеводин, Вл.Воеводин, О.М. Брехов, Э. Таненбаум, М. ван Стеен,
В.П. Гергель, Р.Г. Стронгин и другие.
В области многопараметрической оптимизации и обработки сигналов
А.П. Карпенко, В.В. Сюзев, А. Оппенгейм, Р. Шафер и другие.
В области компьютерных сетей и Интернета вещей И.П. Иванов,
Б.В. Костров и другие.
Научная новизна. Научная новизна полученных в диссертации результатов
теоретических и экспериментальных исследований заключается в следующем:
– разработана модель назначения заданий вычислительным узлам на основе
модели машинного обучения с подкреплением, которая, в отличие от уже
существующих, позволяет работать на распределенной информационной системе,
узлы которой являются устройствами Интернета вещей;
– разработан новый метод назначения заданий вычислительным узлам
распределенной информационной системы Интернета вещей на основе
машинного обучения с подкреплением, позволяющий, в отличие от известных,
динамически перенастраивать процедуру распределения заданий по
вычислительным узлам распределенной информационной системы,
характеристики которых могут изменяться в широких пределах;
– разработаны алгоритмы и программное обеспечения для распределенной
информационной системы на основе устройств Интернета вещей, позволяющие
назначать задания вычислительным узлам распределенной информационной
системы в зависимости от их характеристик и степени доступности;
– разработаны научно-обоснованные рекомендации по применению системы
назначения заданий при работе с вычислительными узлами распределенной
информационной системы на основе устройств Интернета вещей, позволяющей
повысить эффективность инфраструктуры Интернета вещей для решения
вычислительных задач за счет применения динамической модели машинного
обучения с подкреплением.
Практическая значимость исследования. На основе метода,
разработанного в диссертационной работе, создана система назначения заданий
вычислительным узлам, предназначенная для решения вычислительных задач с
помощью распределенной информационной системы на основе устройств
Интернета вещей.
Анализ модели машинного обучения с подкреплением позволил получить
алгоритм, который впервые был применен для назначения заданий
вычислительным узлам, реализованных на основе устройств Интернета вещей. В
результате задания, являющиеся составными частями комплексной
вычислительной задачи, стало возможным распределять и выполнять на узлах,
характеристики которых существенно меняются с течением времени, при этом,
изменяя параметры алгоритма, можно изменять поведение системы в
соответствие с текущими состояниями вычислительных узлов. Адаптивность
алгоритма позволила уменьшить влияние изменения параметров вычислительных
узлов на процесс решения вычислительной задачи, и, следовательно, использовать
в качестве вычислительных узлов устройства Интернета вещей.
Внедрение результатов исследований. Полученные в диссертационной
работе результаты внедрены в компании ООО «ЦПР РТСофт», и в учебном
процессе.
Для использования в учебном процессе кафедры «Компьютерные системы и
сети» (ИУ6) и кафедры «Инновационное предпринимательство» (ИБМ7) МГТУ
им. Н.Э. Баумана разработана распределенная информационная система на основе
устройств ИВ, позволяющая проводить назначение заданий вычислительным
узлам и демонстрировать все этапы работы машинного обучения с
подкреплением, и приложение, выполняющее построение двухмерных
изображений по трехмерной модели на основе алгоритма трассировки лучей.
Результаты работы использованы при изучении дисциплин «Распределенные
высоконагруженные вычислительные системы», «Технические средства хранения
и обработки больших данных», «Облачные технологии» и «Информационные
системы в управлении».
Апробация работы. Результаты диссертационной работы представлены и
прошли апробацию на следующих конференциях:
1. Международная конференция «eLearning and Software for Education
Conference», Румыния, 2019 г.
2. Международная научная конференция Математические Методы в Технике
и Технологиях ММТТ-33, Россия, 2020 г.
3. Международная научная конференция «Кибер-физические системы:
проектирование и моделирование» CYBERPHY:2020 – «Cyber-Physical Systems
Design And Modelling», Россия, 2020 г.
4. The International Conference on Deep Learning, Big Data and Blockchain
(Deep-BDB 2021), Италия, 2021 г.
5. The 4th International Conference on Recent Innovations in Computing
(ICRIC-2021), Индия, 2021.
Публикации по теме. По теме диссертационной работы опубликовано 11
научных работ: из них 3 в научных изданиях, входящих в Перечень ВАК
Минобрнауки России, 1 статья в научных изданиях, индексируемых Scopus и Web
of Science, 2 статьи в научных изданиях, индексируемых Scopus.
Личный вклад автора. Все представленные в данной работе исследования
и результаты проведены и получены лично соискателем. Из совместных
публикаций в работу включен лишь материал, который непосредственно
принадлежит соискателю. Материал, заимствованный у других авторов обозначен
в работе ссылками на соответствующие публикации.
Структура диссертационной работы. Диссертация состоит из введения,
четырех глав с выводами, общих выводов по диссертации и заключения, списка
использованных источников. Основной текст содержит 142 страницы, 39
рисунков, 1 таблицу. Список использованных источников содержит 12 страниц и
включает 127 наименований.
В первой главе проведён анализ характеристик, ограничений и
возможностей Интернета вещей как распределённой информационной системы.
Рассмотрены существующие подходы для реализации параллельных и
распределенных вычислительных систем. Проведён анализ методов машинного
обучения в качестве применимости для реализации процесса назначения
вычислительных заданий в РИСИВ. В результате анализа, выделен метод
машинного обучения с подкреплением как основа метода назначения заданий в
РИСИВ. Описаны элементы метода обучения с подкреплением.
Во второй главе сформулирована постановка задачи, формальное описание
которой основано на задаче оптимального отображения алгоритма на архитектуру
параллельной вычислительной системы с использованием графовой модели,
приведена модель РИСИВ и метод для назначения заданий её вычислительным
узлам.
В третьей главе приводится модель вычислительного узла и алгоритм
назначения заданий вычислительным узлам от распределяющего узла в РИСИВ,
которые основываются на предложенных формальном описании, методе и
стратегии в главе 2. Приводится также модифицированный алгоритм назначения
заданий с использованием дополнительного уровня распределения заданий по
группам вычислительных узлов, тем самым сократив вычислительную нагрузку
по взаимодействию с распределяющим узлом и дающий возможность
масштабирования разработанного метода и алгоритма назначения заданий в
РИСИВ.
В четвёртой главе представлена техническая реализация РИСИВ.
Представлены результаты исследования разработанного метода и алгоритмов.
Рассматривается работа алгоритма распределения при различных значениях
характеристик и типах поведения вычислительных узлов. Даются рекомендации
по применению метода и алгоритмов для реализации и проведения
распределенных вычислений на РИСИВ. Описываются проведённые
эксперименты и полученные результаты: поведение алгоритма при стационарном
состоянии, поведение алгоритма при нестационарном состоянии, тестирование
работы алгоритма при отправке тестового задания трассировки луча.
В библиографии приведены литературные источники (монографии, статьи,
интернет-ресурсы и др.), на которые есть ссылки в тексте работы.
1. SETI@home//SETI@home. 2021. URL. https: www.setiathome.berkeley. edu/
(дата обращения 16.03.2021)
2. Folding@home// Folding@home. 2021.URL. https:www.foldingathome.org/
(дата обращения 16.03.2021)
3. Степанова М.В. Концепция Интернета вещей на базе платформы IBM
Bluemix // Современные тенденции развития науки и технологий. Периодический
научный сборник по материалам XII Международной научно-практической
конференции. Белгород. 2016. №3-2. С.138-141.
4. Степанова М.В. Обеспечение безопасности в IoT системах // Современ-
ные тенденции развития науки и технологий. Периодический научный сборник по
материалам XIX международной научно-практической конференции «Сов-
ременные тенденции развития науки и технологий». Белгород. 2016. №10-1.
C.112-115.
5. Kumar D., Verma C., Dahiya .S, Singh PK., Raboaca MS., Illés Z., Bakariya B.
Cardiac Diagnostic Feature and Demographic Identification (CDF-DI): An IoT Enabled
Healthcare Framework Using Machine Learning // Sensors. 2021. Vol.21, №19. P.6584.
6. Особенности и тенденции развития технологии LoRaWAN//QUEST: Дис-
трибьюторэлектронныхкомпонентов.2017.URL.https:www.icquest.ru/
publications/4-semtech/2017/697-osobennosti-i-tendentsii-razvitiya-tekhnologii-
lorawan-2017 (дата обращения 20.02.2020).
7. Строгалев В.П., Толкачёва И.О. Имитационное моделирование. М.:
Издательство МГТУ им. Н. Э. Баумана, 2017. 295 с.
8. Брехов О.М., Звонарева Г.А., Корнеенкова А.В. Имитационное модели-
рование. М.: Издательство МАИ, 2015. 324 с.
9. Галанин М. П., Исаев А. В., Конев С. А. Математическая модель
образования сажи при диффузионном горении толуола // Математическое
моделирование. 2020. Т. 32, № 6. С. 66-80.
10. Хачумов В.М., Хачумов М.В. Конвейерные и разрядно-параллельные
вычисления в бортовых системах навигации и управления. М.: КРАСАНД,
2019. 208 с.
11. Гонасалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера,
2005. 1072 с.
12. Божко А.Н. Жук Д.М. Маничев В.Б. Компьютерная графика. М.: МГТУ
им. Н.Э.Баумана, 2007. 396с.
13. Норенков И.П., Кузьмик П.К. Информационная поддержка наукоемких
изделий. CALS-технологии. М.: МГТУ им. Н.Э. Баумана, 2002. 320с.
14. Ли К. Основа САПР (CAD/CAM/CAE). Спб.: Питер, 2004. 560 с.
15. Сюзев В.В. Основы теории цифровой обработки сигналов. М.: РТСофт,
2014. 749 с.
16. Оппенгейм А., Шафер Р. Цифровая обработка сигналов. М.: Техносфера,
2012. 1046 с.
17. The industrial internet of things (IIoT): An analysis framework / H. Boyes [et
al.]. Computers in Industry. 2018. 101p.
18. Черняк Л. Платформа Интернета вещей // Открытые системы. СУБД.
2012. № 7. С. 44.
19. Leong Y., Fenn J. Key Trends to Watch in Gartner 2012 Emerging
Technologies Hype Cycle // Forbes. 2012. URL. https:www.forbes.com/sites
/gartnergroup/2012/09/18/key-trends-to-watch-in-gartner-2012-emerging-technologi es-
hype-cycle-2/?sh=65edf8b67036 (дата обращения 10.11.2017).
20. An Extended Review on Internet of Things (IoT) and Its Promising
Applications /Dr. Y. Perwej[et al.]. Communications on Applied Electronics. 2019.
21. Salman T., Jain R. A Survey of Protocols and Standards for Internet of
Things // Advanced Computing and Communications. 2017. Vol. 1, No. 1.
22. Irons-Mclean R., Sabella A., Yannuzzi M. Orchestrating and Automating
Security for the Internet of Things: Delivering Advanced Security Capabilities from
Edge to Cloud for IoT. Cisco Press, 2018. 968 p.
23. Шевчук Е. В., Шевчук Ю. В. Современные тенденции в области хра-
нения и обработки сенсорных данных // Программные системы: теория и при-
ложения. 2015. №4. С. 157-176.
24. Kitchin R., McArdle G. What makes Big Data, Big Data? Exploring the
ontological characteristics of 26 datasets. Big Data & Society. 2016.
25. Klonoff DC. Fog Computing and Edge Computing Architectures for Pro-
cessing Data From Diabetes Devices Connected to the Medical Internet of Things //
Journal of Diabetes Science and Technology. 2017. Vol.11, №4. P.647-652.
26. Fog Computing: An Overview of Big IoT Data Analytics /Rizwan Anawar
M.R.[et al.]. Wireless Communications and Mobile Computing, 2018. 22p.
27. Yassein M., Hmeidi I., Shatnawi F., Rawasheh S.Fog Computing:
Characteristics, Challenges and Issues //2020 International Conference on Mathematics
and Computers in Science and Engineering (MACISE). 2020. P. 240-245.
28. Dineva K., Atanasova T. Design of Scalable IoT Architecture Based on AWS
for Smart Livestock // Animals (Basel). 2021. Vol.11, №9.
29. Amazon, Google and Microsoft Solutions for IoT: Architectures and a Per-
formance Comparison /Pierleoni P. IEEE Access. 2020.
30. Google. IoT & Devices // Google. URL. https:www.cloud.google.com
/blog/products/iot-devices (дата обращения 01.04.2020).
31. Microsoft. What is Azure Internet of Things (IoT)? // Microsoft. URL.
https:www.docs.microsoft.com/en-us/azure/iot-fundamentals/iot-introduction (дата
обращения 02.04.2020).
32. Azraq A., Aziz A.H., Siddiqui U. Essentials of Application Development on
IBM Cloud. An IBM Redbooks publication. 2017. 206 p.
33. Ju H., Liu L. Innovation Trend of Edge Computing Technology Based on
Patent Perspective // Wireless Communications and Mobile Computing. 2021.
Vol. 2021. P. 1-10.
34. Gumaei A., al-Rakhami M., Hassan M. M. Deep learning and blockchain with
edge computing for 5G-enabled drone identification and flight mode detection // IEEE
Network. 2021. Vol. 35, № 1. P. 94–100.
35. Olaniyan R., Fadahunsi O., Maheswaran M.,Zhani M. F. Opportunistic edge
computing: concepts, opportunities and research challenges // Future Generation
Computer Systems. 2018. Vol. 89, № DEC. P. 633–645.
36. Reznik A. What is Edge? //ETSI. 2018. URL. https:www.etsi.org/news
room/blogs/entry/what-is-edge (дата обращения 05.04.2020).
37. Ericsson Mobility Report 2017. Ericsson AB, 2017. 36 p.
38. Knud Lasse Lueth .Top 10 IoT applications in 2020 // IOT ANALYTICS.
2020. URL. https:www.iot-analytics.com/top-10-iot-applications-in-2020/ (дата обра-
щения 12.11.2020).
39. Ray P.P. A survey on Internet of Things architectures // Journal of King Saud
University – Computer and Information Sciences. 2018. Vol.30. P.291-319.
40. Keeley T. IoT to IoAT: Internet of Autonomous Things devices provides so-
lutions // Compsim. 2016. URL. https:www.controleng.com/articles/iot-to-ioat-internet-
of-autonomous-things-devices-provides-solutions/ (дата обращения 12.11.2020).
41. Кили Т. От IoT к IoAT: Интернет автономных вещей // Control
Engineering Россия. 2016. URL. https:www.controleng.ru/internet-veshhej/ioat/ (дата
обращения 12.11.2020).
42. Gerber A., Romeo J. Choosing the best hardware for your next IoT
project//IBM.IBMDeveloper.2020.URL.https:www.developer.ibm.com/articles/iot-
lp101-best-hardware-devices-iot-project/ (дата обращения 12.11.2020).
43. Global Internet of Things(IoT) Chip Market – Growth, Trends, COVID-19
Impact, and Forecast (2021-2026)//Mordor Intelligence. 2020. URL. https:www.mor-
dorintelligence.com/industry-reports/iot-chip-market (дата обращения 13.11.2020).
44. Интернет Вещей начинается там, где физический мир соединяется с
цифровым//AnalogDevices.URL.https:www.analog.com/ru/applications
/technology/internet-of-things.html (дата обращения 14.11.2020).
45. Цифровизация в сельском хозяйстве: технологические и экономические
барьеры в России Сентябрь 2017 года (Аналитический отчет) // JSON. TV.
2017. URL. https:www.json.tv/ict_telecom_analytics_view/tsifrovizatsiya-v-selskom-
hozyaystve-tehnologicheskie-i-ekonomicheskie-barery-v-rossii-20170913024550 (дата
обращения 15.11.2020).
46. Smart Sensors – Clever Data – Actionable Insights // iotag. URL.
https:www.iotag.com.au/20170913024550 (дата обращения 16.11.2020).
47. Автономный IoT «Интернет вещей»//EnOcean. URL. http:www.eno-
cean.ru/technology/self-powered-internet-of-things/ (дата обращения 17.11.2020).
48. Распоряжение от 22 октября 2021 г. № 2998-з. Правительство Российской
Федерации. 2021. 14 с.
49. Ежова Н.А. Модель параллельных вычислений для оценки масшта-
бируемости итерационных алгоритмов на кластерных вычислительных системах:
дис. … канд. тех. наук. Челябинск. 2019. 137 с.
50. Пахомова О.А. Математическое и программное обеспечение процессов
параллельной и распределенной обработки графической информации в реальном
масштабе времени: дис. … канд. тех. наук. Воронеж. 2019. 129 с.
51. Колганов А.С. Автоматизация распараллеливания Фортран-программ
для гетерогенных кластеров: дис. … канд. тех. наук. Москва. 2020. 135 с.
52. Brodtkorb A.R. , Hagen T. R., Sætra. M. L. Graphics processing unit (GPU)
programming strategies and trends in GPU computing // Journal of Parallel and
Distributed Computing. 2013. Vol. 73. P. 4-13.
53. Huqqani A.A, Schikuta E., Ye S., Chen P.,Multicore and GPU Parallelization
of Neural Networks for Face Recognition // Procedia Computer Science. 2013. Vol. 18.
P. 349-358.
54. Bouzidi H., Ouarnoughi H., Niar S., Cadi A.A.E. Performance prediction for
convolutional neural networks on edge GPUs//CF ’21: Proceedings of the 18th ACM
International Conference on Computing Frontiers. 2021. P.54-62.
55. Flynn M.J. Very high speed computers/Michael J. Flynn // Proceedings of the
IEEE 54. 1966. №12. P.1901-1909.
56. Flynn M.J. Some computer organizations and their effectiveness // IEEE
transactions on computers 100. 1972. № 9. P. 948-960.
57. Гергель В. П. Высокопроизводительные вычисления для многопроцес-
сорныхмногоядерныхсистем.М.:Физматлит:Изд-воМоск.ун-та:
Нижегородский гос. ун-т., 2010. 539 с.
58. Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений для
многопроцессорных вычислительных систем. НН.: Изд-во ННГУ им. Н.И.
Лобачевского, 2003. 184 с.
59. Buyya R. High Performance Cluster Computing: Architectures and Systems.
Prentice Hall, 1999.
60. Buyya R. High Performance Cluster Computing: Programming and
Applications. Prentice Hall, 1999.
61. Roosta S.H. Parallel Processing and Parallel Algorithms: Theory and
Computation. Springer-Verlag, 2000.
62. Wilkinson B., Allen M. Parallel programming. Prentice Hall, 1999.
63. Steen M. van, Tanenbaum A.S. Distributed Systems. distributed-systems.net,
2017.
64. Ходар А.А. Математическое и программное обеспечение процессов
динамической балансировки нагрузки в распределенных облачных вычис-
лениях: … канд. тех. наук. Воронеж. 2020.
65. Тихомиров А.И. Методы и средства организации системы управления
вычислительными заданиями в территориально распределенной сети суперком-
пьютерных центров коллективного пользования: … канд. тех. наук. Москва.
2020.143 с.
66. Терехов Д.В. Математическое и программное обеспечение процессов
управления потоками данных в гетерогенных информационных системах
специального назначения: дис. … канд.тех.наук. Воронеж. 2020. 161 с.
67. Singh M. An Overview of Grid Computing//2019 International Conference on
Computing, Communication, and Intelligent Systems (ICCCIS). 2019. P. 194-198.
68. Guharoy R. A theoretical and detail approach on grid computing a review on
grid computing applications//2017 8th Annual Industrial Automation and Electro-
mechanical Engineering Conference (IEMECON). 2017. P. 142-146.
69. IEEE. IEEE Smart Grid Vision for Computing: 2030 and Beyond Roadmap.
IEEE, 2016.
70. Agarwal P, Owzar K. Next Generation Distributed Computing for Cancer
Research // Cancer Informatics. 2015. Vol.13. P. 97–109.
71. Phister G.F. In Search of Clusters. Prentice Hall PTR, 1998.
72. Rajak R. Cluster Computing: Emerging Technologies, Benefits, Architecture,
Tools and Applications // International Journal of Advanced Science and Technology.
2020. Vol.29, № 4. P. 4008–4015.
73. Савяк В. Эффективные кластерные решения//iXBT.com. 2002. URL.
https:www.ixbt.com/cpu/clustering.shtml
74. Tripp D. Performance measurement of distributed systems. University of
Canterbury. 1986.
75. Tanenbaum A.S., Kaashoek M.F., Renesse R., Bal H. The Amoeba distributed
operating system — A status report // Computer Communications. 1991. Vol.14.
P.324-335.
76. Stepanova M. Applying Kolmogorov Complexity for High Load Balanc-ing
Between Distributed Computing System Nodes // Conference proceedings of eLearning
and Software for Education (eLSE). 2019. P. 376-382.
77. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-
Петербург, 2002. 608 c.
78. Ершов А. П. Современное состояние теории схем программ // Проблемы
кибернетики. 1973. № 27. С.87-110
79. Воеводин Вл.В. Статистический анализ и вопросы эффективной реализа-
ции программ // Вычислительные процессы и системы. 1993. № 9. С.249-301.
80. Демичев А.П., Ильин В.А., Крюков А.П. Введение в грид-технологии.
М.: НИИЯФ МГУ, 2007. 87 с.
81. Li B., Wang M., Zhao Y., Pu G., Zhu H., Song F. Modeling and Verifying
Google File System // Proceedings of IEEE International Symposium on High
Assurance Systems Engineering. 2015. P. 207-214.
82. Ghemawat S., Gobioff H., Leung. S. The Google File System // Proceedings
of the 19th ACM Symposium on Operating Systems Principles. NY. 2003. P. 20-43.
83. Cardellini V., Colajanni M., Yu P. S. Dynamic load balancing on Web-server
systems // IEEE Internet Computing. 1999. Vol.3, №3. P. 28–39.
84. What Is Load Balancing? // NGINX. 2014. URL. https:www.nginx.com
/resources/glossary/load-balancing/ (дата обращения 10.06.2020).
85. Zhang H. Architecture of Network and Client-Server model. ArXiv, 2013.
86. Mathur G., Desnoyers P., Chukiu P., Ganesan D., Shenoy P. Ultra-low power
data storage for sensor networks // 2006 5th International Conference on Information
Processing in Sensor Networks. 2006. P. 374-381.
87. Люгер Дж. Ф. Искусственный интеллект. Стратегии и методы решения
сложных проблем. М.: Вильямс, 2003. 864 с.
88. Каллан Р. Основные концепции нейронных сетей. М.: Издательский дом
Вильямс, 2003. 287 с.
89. Хайкин С. Нейронные сети. Полный курс. М.: Вильямс, 2006. 1103 с.
90. Sutton R.S., Barto A.G.Reinforcement Learning: An Introduction.Second
Edition. MIT Press, 2018.
91. Карпенко А.П. Современные алгоритмы поисковой оптимизации.
Алгоритмы, вдохновленные природой. М.: Изд-во МГТУ им. Н. Э. Баумана, 2021.
448 с.
92. Сахаров М.К. Методика проектирования программ для решения задач
глобальной параметрической оптимизации на слабосвязанных вычислительных
системах: дис. … канд.тех.наук. Москва. 2020. 123 с.
93. Гельфанд И. М., Пятецкий-Шапиро И. И., Цетлин М. Л. О некоторых
классах игр и игр автоматов // Докл. АН СССР. 1963. T. 152, № 4. С. 845—848.
94. ДжонсТ.М.Программированиеискусственногоинтеллектав
Публикации автора в научных журналах
Помогаем с подготовкой сопроводительных документов
Хочешь уникальную работу?
Больше 3 000 экспертов уже готовы начать работу над твоим проектом!
5 (8 отзывов)
4.7 (18 отзывов)
5 (174 отзыва)
4.8 (9 отзывов)
5 (145 отзывов)
4.9 (298 отзывов)
5 (188 отзывов)
5 (91 отзыв)
4.2 (6 отзывов)
