Методический инструментарий оценки и анализа цифровых решений промышленного предприятия

Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0
Любименко Дарья Анатольевна
Бесплатно
Работа доступна по лицензии Creative Commons:«Attribution» 4.0

ВВЕДЕНИЕ …………………………………………………………………………………………………….. 3

ГЛАВА 1. АКТУАЛЬНЫЕ ПРОБЛЕМЫ РАЗВИТИЯ ПРОМЫШЛЕННЫХ
ПРЕДПРИЯТИЙ В ЭКОНОМИКЕ РОССИИ ………………………………………………… 11
1.1. Текущее состояние, ключевые проблемы и основные тренды в развитии
промышленного сектора экономики ……………………………………………………………… 11
1.2. Цифровизация VS цифровая трансформация: история возникновения
термина цифровая трансформация и его отличие от цифровизации……………….. 24
1.3. Классификация цифровых решений ……………………………………………………….. 38
ГЛАВА 2. РАЗРАБОТКА МЕТОДИЧЕСКОГО ПОДХОДА К АНАЛИЗУ И
ОЦЕНКЕ ЦИФРОВЫХ РЕШЕНИЙ ……………………………………………………………… 52
2.1. Обзор методов оценки эффективности проектов цифровизации ……………… 52
2.2. Методический подход к оценке и анализу внедрения киберфизических
систем и решений по внедрению цифрового оборудования …………………………… 64
2.3. Методический подход к оценке и анализу программных продуктов………… 83
ГЛАВА 3. ИССЛЕДОВАНИЕ И АНАЛИЗ ЗАВИСИМОСТИ РЕЗУЛЬТАТОВ
ДЕЯТЕЛЬНОСТИ ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ ОТ ИНВЕСТИЦИЙ В
ЦИФРОВЫЕ РЕШЕНИЯ ……………………………………………………………………………. 100
3.1. Формирование цели и выбор объектов исследования ……………………………. 100
3.2. Апробация методического подхода к оценке эффективности внедрения
цифровых решений на промышленных предприятиях …………………………………. 117
3.3. Методический подход к анализу цифровых решений промышленного
предприятия ……………………………………………………………………………………………….. 129
ЗАКЛЮЧЕНИЕ …………………………………………………………………………………………… 144

СПИСОК ЛИТЕРАТУРЫ…………………………………………………………………………….. 149

ПРИЛОЖЕНИЯ …………………………………………………………………………………………… 168

Приложение А …………………………………………………………………………………………….. 169

Во введении обосновывается актуальность темы, формулируются цель и задачи, определяются объект и предмет исследования, раскрываются научная новизна и практическая значимость работы.
В первой главе «Актуальные проблемы развития промышленных предприятий в экономике России» сформулирован генезис возникновения цифровой экономики, проведен сравнительный анализ понятий «цифровизация» и «цифровая трансформация. Проведена систематизация цифровых решений по шести признакам, выявлена их специфика, которая должна быть учтена при анализе цифровых решений и оценке результатов их внедрения, уточнено определение понятия «трансформационный эффект».
Во второй главе «Разработка методического подхода к анализу и оценке цифровых решений» проведен анализ существующих подходов к оценке инвестиционных проектов и выявлены их недостатки. Разработан авторский методический подход к анализу цифровых решений и оценке результатов в
зависимости от их типа, включающий комплекс методов: оценки экономической эффективности киберфизических систем и решений по внедрению цифрового оборудования и оценки использования программных продуктов в реализации цифровых решений. Модифицирован показатель оценки эффективности работы оборудования, включенный в метод оценки экономической эффективности киберфизических систем и решений по внедрению цифрового оборудования.
В третьей главе «Исследование и анализ зависимости результатов деятельности промышленных предприятий от инвестиций в цифровые решения» проведено статистическое исследование зависимости результатов деятельности промышленного предприятия от реализации цифровых решений. Сформирована шестипольная аналитическая матрица в координатах «Эффективность работы оборудования – трансформационный эффект». Установлены нормативные значения частных критериев интегрированного показателя эффективности работы оборудования; уточнено понятие трансформационного эффекта, предложен метод его количественной оценки, с использованием функции желательности Харрингтона, дана интерпретация ее результатов.
В заключении представлены основные выводы и результаты диссертационного исследования.
II. ОСНОВНЫЕ ПОЛОЖЕНИЯ И РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ, ВЫНОСИМЫЕ НА ЗАЩИТУ
1. Выявлен генезис цифровых решений и осуществлена их классификация, отличающаяся от существующих использованием дополнительного признака – способности интегрировать в себе физические и программные продукты, в соответствии с которым выделены три группы цифровых решений: программные продукты, решения по внедрению цифрового оборудования и киберфизические системы; идентифицированная специфика каждой группы предопределила уточнение понятия «трансформационный эффект»», систему принципов и критериев, которым должен соответствовать методический подход к оценке цифровых решений. Все это позволило выделить проблему оценки и анализа экономической эффективности цифровых решений в отдельный объект исследования (п. 1.1.15. Паспорта специальности ВАК).
Исследование развития цифровой экономики позволило выявить генезис развития цифровых решений (рис. 1).
Проведенный анализ показал, что на каждом этапе развития цифровой экономики спектр цифровых решений и технологий постоянно увеличивался. На сегодняшний день их внедрение для промышленных предприятий стало обязательным условием сохранения конкурентного положения на рынке. Однако большое многообразие цифровых решений и высокие риски, сопровождающие их реализацию, препятствуют активному внедрению
цифровых технологий в деятельности отечественных промышленных предприятий.
Рисунок 1 – Генезис цифровых инвестиционных решений [авт.]
С целью выявления специфики цифровых решений осуществлена их систематизация по 6 признакам (табл. 1). Предложенная классификация отличается от уже существующих дополнительным признаком – способность интегрировать в себе физические и программные продукты, в соответствии с которым выделены три группы цифровых решений: программные продукты, решения по внедрению цифрового оборудования и киберфизические системы.
Уточнено определение понятия «трансформационный эффект» как результата реализации цифрового решения. В рамках настоящего исследования трансформационный эффект рассматривается как наблюдаемые и измеримые последствия изменений принципов осуществления деятельности предприятия, которые удовлетворяют следующим критериям: цифровое решение позволяет осуществлять бизнес-процесс принципиально новым способом, не использовавшимся ранее; доступ к цифровому решению предоставляется каждому пользователю в соответствии с его функционалом и не дискриминирует пользователей; действия всех участников бизнес-процесса открыты и прозрачны; цифровое решение позволяет выполнять определенные задачи, стоящие перед промышленным предприятием.
9

10
Таблица 1 – Классификация цифровых решений [авт.]
Признак классификации 1.Масштаб осуществляемых изменений
Типы цифровых решений
2. Подход к структурированию и запуску изменений
Проекты операционной цифровизации Fail-Fast – проекты
Проекты цифровой трансформации AGILE – проекты
3.Сфера реализации
Управление производственными процессами
Процессы производства
проект Управление жизненным циклом продукции
Управление сделками
Постпродажное обслуживание цифровой продукции
4. Воздействие на сектор экономики
Цифровая/умная/виртуальная фабрика/завод
цифровой/ умный город
Цифровая /умная дорога
и цифровой транспорт
Умный дом
Сквозные проекты
5. Масштаб изменений в рамках цифровых решений 6. Способность интегрировать в себе физические и программные продукты
Цифровые решения с комплексной поставкой
Цифровые решения с заменой отдельных узлов и деталей
Программные продукты
Решения по внедрению цифрового оборудования
Киберфизические системы
Системные проекты
scrum-
kanban- проект
Waterfall-проект

Типология цифровых решений позволила выявить их специфику и на этой основе сформулировать систему принципов и критериев, которым должен отвечать методический подход к оценке и анализу цифровых решений промышленного предприятия. Они подразумевают:
– способность оценить эффективность физической составляющей;
– способность оценивать экономическую эффективность;
– способность оценивать эффективность использования человеческого
капитала;
– способность оценивать трансформационный эффект;
– способность учитывать риски;
– способность оценивать стоимость цифровых решений.
Анализ традиционных методов оценки инвестиционных решений
показал, что ни один из существующих подходов в полной мере не удовлетворяет сформированным принципам и критериям, что подчеркивает актуальность рассматриваемой проблемы и свидетельствует о необходимости разработки нового методического инструментария.
2. Предложен методический подход к оценке эффективности цифровых решений в зависимости от их типа, включающий комплекс методов: метод оценки экономической эффективности киберфизических систем и решений по внедрению цифрового оборудования и метод оценки использования программных продуктов в реализации цифровых решений. Первый метод отличается от существующих новым подходом к определению стоимости цифрового решения, суть которого состоит в поправке на риск инвестиций в реализацию такого решения, и использованием модифицированного интегрального показателя, учитывающего эффективность функционирования оборудования в киберфизической системе и работу оператора. Отличие второго метода заключается в корректировке стоимости программных продуктов на показатели рисков. Все это дает возможность получения более корректных и объективных оценок экономической эффективности цифровых решений (1.1.1. Паспорта специальности ВАК).
В рамках исследования предложен методический инструмент анализа и оценки результатов внедрения киберфизических систем и проектов по внедрению цифрового оборудования (алгоритм такой оценки представлен на рис. 2).
В рамках исследования принято, что поправка на риск – это совокупная оценка всех, присущих цифровому решению, рисков экспертным методом по пятибалльной шкале, с точки зрения вероятности их реализации и степени значимости последствий такой реализации (потери, которые будут понесены в результате наступления риска).
Рисунок 2 – Алгоритм оценки эффективности киберфизических систем и решений по внедрению оборудования [авт.]
При оценке экономической эффективности решения по внедрению киберфизических систем и цифрового оборудования предполагается расчет интегрированного показателя эффективности работы оборудования OEEWO (The overall efficiency of the equipment, taking into account the work of the operator), отличие которого от классического показателя OEE состоит в учете эффективности работы оператора:
OEEWO= ×Q × , (1) ×
где OEEWO (The overall efficiency of the equipment, taking into account the work of the operator) – интегрированный показатель эффективности работы оборудования, %; tpr – общий период производственного процесса, в течение которого оборудование функционировало без нарушений, в часах; o – период времени, в течение которого оборудование простаивало из-за его отказа, в часах; n – период времени, который заняла настройка и регулировка работы оборудования, в часах; Q1 – объем продукции, выпущенный за период производственного процесса, в течение которого оборудование функционировало без нарушений, в единицах; t0 – период времени, в течение которого зафиксирован холостой ход оборудования, непродолжительные остановки, в часах; Qt – количество продукции, произведенной за период времени работы оператора на оборудовании, единиц; Vt – средняя скорость работы оператора в течение общего периода времени работы, единиц в час; tp – общая продолжительность периода времени, в течение которого оператор работал на оборудовании, в часах.
Введение в формулу оценки эффективности работы оператора обусловлено тем фактом, что, по мнению абсолютного большинства исследователей, одним из ключевых факторов, от которого зависит эффективность работы киберфизической системы и цифрового оборудования, является именно квалификация лица, управляющего этими системами.
Формула (1) объединила 4 группы факторов, характеризующих одновременно эффективность работы физико-биологической составляющей (оборудование, оператор) и программной составляющей – цифрового продукта в киберфизической системе.
Значения OEEWO находятся в диапазоне от 0 до 100%. Вклад каждой составляющей при максимальной эффективности работы оборудования имеет следующие значения: доступность – 90%, производительность – 95%, качество – 99,9%, эффективность работы оператора – 99,98% (рис. 3).
Эффективность работы оператора
99,98%
Доступность 90,00%
Качество 99,90%
Производительность 95,00%
Рисунок 3 – Показатели компонентов OEEWO с учетом эффективности работы оператора, % [авт.]
Для третьего типа цифровых решений – программных продуктов – предложен отдельный методический подход, отличие которого заключается в корректировке стоимости программных продуктов на показатели рисков (алгоритм приведен на рис. 4).
Рисунок 4 – Алгоритм оценки эффективности программных продуктов [авт.]
Расчет стоимости программного продукта – SC (Software cost) рассматривается как совокупность капитальных и операционных затрат с
учетом поправки на риск. Капитальные затраты – это вложения на этапе приобретения или разработки цифрового решения, операционные – это расходы промышленного предприятия при эксплуатации программного продукта. Внедрение и использование цифрового продукта занимает, как правило, несколько лет, поэтому при расчетах учтен фактор времени:
SC= CAPEX × +CAPEX × +CAPEX × %+∑1 ‘ (×)*+,-( (2) ! ” # $ 23 ( /)(
где SC (Software cost) – стоимость программного продукта, руб.; CAPEXk – объем k-го вида капитальных затрат, руб.; RCAPEX_k – уровень риска в баллах, соответствующего k-му виду капитальных затрат; OPEXi – операционные затраты i-го периода, руб.; ROPEX_i – уровень риска в баллах, соответствующий операционным затратам i-го периода; N – число периодов; r – ставка дисконтирования, %.
Для использования в формуле TCO значение Ri – поправка на риск – определяется по шкале (табл. 2).
Таблица 2 – Поправки значений CAPEX и OPEX при расчете стоимости программного проекта [авт.]
Оценка i-го риска в баллах (Ri) 0-10
11-20
21-30
31-40
41-60
>60
Поправка на риск (RCAPEXi/ ROPEXi) 1
1,1
1,2
1,3
1,4
1,5
Если стоимость программного продукта (обозначим этот показатель SC – Software cost) соответствует бюджету компании и не завышена, что особенно важно в случае с софтом, разработанным по заказу сторонней организацией, следует переходить к следующему шагу – оценке согласованности проекта.
Согласованность цифрового проекта оценивается с точки зрения соответствия программного обеспечения таким параметрам, как: квалификация персонала; мощность сервера; используемые технологии.
Если внедряемые технологии требуют большей мощности, чем может обеспечить имеющийся сервер, или квалификация программистов не позволяет эффективно работать с новым программным обеспечением (ПО), реализация решения о внедрении последнего окажется под угрозой.
В случае соответствия критерию согласованности, следующим этапом в рамках предлагаемого методического подхода следует оценить экономическую эффективность ПО. Для амортизируемых программных продуктов вполне применимы классические показатели инвестиционного анализа.
Целесообразность использования классических показателей обусловлена возможностью четкого планирования длительности проекта в соответствии со сроком полезного использования программного продукта. Если проект носит затратный характер, методические рекомендации могут быть использованы в классическом виде.
В ситуации, когда установить срок полезного использования ПО не представляется возможным, амортизация не начисляется. Здесь используется показатель, в расчете которого амортизация не учитывается. Таким показателем является, в частности, EBITDA (Earnings before interest, taxes, depreciation and amortization). Эффективным можно считать решение, которое приводит к росту этого показателя. В случае, если, помимо ПО, планируется реализация цифровых решений по другим направлениям деятельности, вклад в прирост EBITDA того или иного проекта может быть определен с помощью экспертов, и, по мере накопления статистики, статистически.
В качестве мультипликатора доходности таких решений предложено применять коэффициент SC/EBITDA. Он показывает, сколько прибыли до выплаты налогов, процентов и амортизации, генерируемой цифровым решением, понадобится для полной окупаемости стоимости ПО.
Предприятиям, внедряющим цифровые технологии, рекомендуется установить норматив этого коэффициента; он будет служить критерием отбора эффективных проектов ПО, по которым не начисляется амортизация.
3. На основе проведенного статистического исследования результатов деятельности крупных публичных промышленных компаний методами ковариационного и корреляционного анализа подтверждена гипотеза относительно положительной корреляции между затратами на цифровые решения и результатами деятельности промышленного предприятия. Это способствует повышению обоснованности планирования инвестиций в цифровое развитие промышленного предприятия (п. 1.1.15. Паспорта специальности ВАК).
В связи с рядом ограничений, которые обусловлены отсутствием в открытых источниках оперативных данных, касающихся цифровизации на промышленных предприятиях, для выполнения исследовательской задачи приняты допущения:
1) для исследования использован разработанный методический подход к анализу эффективности программных продуктов, что обусловлено преобладанием в стратегии цифровизации рассматриваемых компаний такого типа цифровых решений;
2) в качестве затрат на цифровые решения использованы расходы промышленных предприятий на цифровизацию и НИОКР за соответствующий период, так как большинство предприятий на данный момент оценивают расходы при внедрении цифровых технологий укрупненно;
3) принято, что все решения, реализуемые промышленным предприятиями выборки, согласованы;
4) оценка экономической эффективности осуществлена с помощью коэффициента SC/EBITDA;
5) в качестве базы данных использованы расходы промышленных предприятий на цифровизацию и НИОКР за 2019 и 2020 г.
В качестве объектов эмпирического исследования выбраны крупные отечественные предприятия и группы предприятий промышленного сектора. Процесс формирования выборки включал три этапа. На первом определена база для формирования выборки. В качестве источника информации использовался рейтинг Forbes за 2021 г. и 2020 г., включающий 200 крупнейших частных компаний России. На втором этапе формировании выборки в списке выделено 69 промышленных предприятий. На третьем этапе из 69 отобраны 10, соответствующие двум требованиям: 1) предприятие реализует цифровые решения или программу цифровой трансформации; 2) предприятие публикует в открытом доступе аналитические данные, включающие основные показатели деятельности (выручка, EBITDA, численность персонала, инвестиции в цифровизацию и НИОКР).
Следующим шагом стал анализ практического применения инструментов разработанного в рамках настоящего диссертационного исследования методического инструментария к анализу программных продуктов. В результате рассчитан коэффициент SC/EBITDA (рис. 5).
Снижение показателя SC/EBITDA свидетельствует о том, что каждая единица затрат генерирует больший объем прибыли до уплаты процентов, налогов и амортизационных отчислений. Снижение коэффициента зафиксировано для группы компаний «Лукойл», группы компаний «Норильский никель» и АО «Объединенная металлургическая компания».
Рисунок 5 – Динамика коэффициента SC/EBITDA в 2019-2020 г. [авт.] 17
0,1050 0,1000 0,0950 0,0900 0,0850 0,0800 0,0750 0,0700 0,0650 0,0600 0,0550 0,0500 0,0450 0,0400 0,0350 0,0300 0,0250 0,0200 0,0150 0,0100 0,0050 0,0000
SC/EBITDA, 2019
SC/EBITDA, 2020
Группа компаний “Лукойл”
0,0000
0,0000
Группа компаний “Норильск ий никель”
0,0131
0,0130
Группа компаний “Татнефть ”
0,0076
0,0128
РУСАЛ
0,0186
0,0187
ПАО «СИБУР Холдинг»
0,0062
0,0084
ПАО “Северста ль”
0,0004
0,0009
ММК
0,0026
0,0027
АО “Объедине нная металлург ическая компания”
0,0036
0,0028
Группа ЧТПЗ
0,0955
Группа компаний “Газпром”
0,0065
0,0146
ПАО “НК “Роснефть ”
0,0143
0,0222
Группа компаний “Россети”
0,0095
0,0111
ПАО “Трансфне фть”
0,0781
0,0201
0,0233
SC/EBITDA

Отрицательная динамика, то есть рост коэффициента, во всех остальных случаях обусловлены снижением EBITDA на фоне одновременного роста расходов на цифровизацию и НИОКР, что в результате привело к снижению коэффициента SC/EBITDA. Можем с осторожностью предположить, что снижение EBITDA в 2020 г. во многом обусловлено общими негативными тенденциями в экономике, обусловленными пандемией, что не могло не сказаться негативно на деятельности крупнейших отечественных промышленных предприятий.
На втором этапе анализа осуществлена проверка гипотезы о влиянии цифровых решений на выручку, EBITDA и производительность труда (рис. 6).
Рисунок 6 – Коэффициенты корреляции между расходами на цифровизацию и НИОКР и показателями: выручкой, EBITDA, производительностью труда [авт.]
Расчет коэффициента ковариации позволил выявить наличие связи между расходами на цифровизацию и НИОКР и показателями выручки и EBITDA. Результаты корреляционного анализа подтвердили гипотезу в части наличия сильной взаимосвязи между вложениями в цифровизацию и НИОКР и прибылью до оплаты процентов по кредитам, налогов и амортизации. С учетом этого показатель EBITDA может использоваться для оценки экономической эффективности, так как между ним и вложениями в цифровые решения выявлена сильная прямая зависимость, соответственно, полагаем, что расходы на цифровизацию – это один из факторов, способствующих росту EBITDA.
Таким образом, исследование подтвердило адекватность и практическую применимость методического подхода к оценке эффективности цифровых решений для промышленного предприятия.
Наиболее сильная положительная зависимость между исследуемыми показателями (расходы на цифровизацию и НИОКР и EBITDA)
Выручка 1,00
0,71
0,65 0,60
0,40 0,20 0,00
0,80
0,37
0,04
0,88
0,80 EBITDA
Производительность труда
2019 г.
2020 г
зафиксирована по данным 2020 г. Однако неясен характер этой зависимости, а также степень влияния факторного признака – расходов на цифровизацию и НИОКР на результирующий – EBITDA. Для ответа на обозначенные вопросы проведено дополнительное исследование с помощью метода наименьших квадратов (рис. 7).
На графике видно, что связь между переменными близка к линейной. Величина квадрата R при этом составляет 0,77, близка к 1, что свидетельствует о достаточно высокой тесноте связи исследуемых факторов. Полученная модель может быть использована для прогнозирования влияния инвестиций во внедрение цифровых решений на промышленном предприятии на объем получаемой прибыли до оплаты процентов по кредитам, налогов и амортизации.
Рисунок 7 – График зависимости EBITDA от расходов на цифровизацию и НИОКР [авт.]
4. Предложен метод количественной оценки трансформационного эффекта с использованием функции желательности Харрингтона и сформирована шестипольная аналитическая матрица в координатах «Эффективность работы оборудования – трансформационный эффект», с выделением нормативных значений частных критериев интегрированного показателя эффективности работы оборудования. Матрица дает возможность определить позицию цифрового решения промышленного предприятия в заданных координатах и обосновать
1 600,00 1 400,00 1 200,00 1 000,00
800,00 600,00 400,00 200,00
0,00
0,00 5,00
10,00 15,00
Расходы на цифровизацию и НИОКР, млрд. руб.
y=
46,492x + 140,91 R2 = 0,7739
20,00 25,00
30,00
Расходы на цифровизацию и НИОКР в 2020 г., млрд. руб.
Линейная (Расходы на цифровизацию и НИОКР в 2020 г., млрд. руб.)
EBITDA, млрд. руб.

целесообразность и перспективы его внедрения (п. 1.1.13. Паспорта специальности ВАК).
В работе сформирована шестипольная аналитическая матрица для анализа цифровых решений. В качестве координат матрицы приняты показатели OEEWO и трансформационный эффект (рис. 8). Таким образом, в координатах заложены параметры, характеризующие эффективность внедрения киберфизических систем и проектов по внедрению цифрового оборудования на промышленном предприятии:
1. OEEWO (The overall efficiency of the equipment, taking into account the work of the operator) – интегрированный показатель эффективности работы оборудования.
2. Трансформационный эффект.
Величина OEEWO по вертикальной оси может быть определена в один из интервалов: менее 50%, 50-85%, более 85%. Значения показателя трансформационного эффекта варьируются от 0 до 1, по горизонтальной оси значение показателя выше или ниже 0,5.
Рисунок 8 – Аналитическая матрица анализа цифровых решений [авт.]
Количественное значение показателя «трансформационный эффект» предлагается определять по совокупности индикаторов, выбор которых обусловлен целями, преследуемыми промышленным предприятием при внедрении цифровых решений. С некоторой долей условности в работе выделены два типа цифровизации промышленного предприятия: цифровизация бизнес-моделей и операционная цифровизация. В первом случае процессы на предприятии претерпевают кардинальные изменения. При операционной цифровизации бизнес-модель предприятия не изменяется, но внедряются цифровые инструменты для повышения эффективности ее работы. На основании предложенной типологии
20

разработан подход к формированию системы индикаторов количественной оценки трансформационного эффекта (рис. 9).
Цифровизация промышленного предприятия
Цифровизация бизнес-моделей
Рентабельность продаж
Оборачиваемость активов
Стоимость бизнеса
Операционная цифровизация
Индикаторы финансовой составляющей
Индикаторы клиентской составляющей
Индикаторы внутренних бизнес-процессов
Индикаторы обучения и развития
Рисунок 9 – Подход к формированию системы индикаторов количественной оценки трансформационного эффекта в зависимости от типа цифровизации на предприятии [авт.]
Количественная оценка трансформационного эффекта осуществляется с использованием функции желательности Харрингтона в следующей последовательности.
1. Представление каждого индикатора в относительной форме по формуле:
M = 5факт. , (3) 5целевое
где Мn – относительное значение индикатора; n – количество индикаторов; iфакт. – фактическое значение индикатора; iцелевое – целевое значение индикатора, выбранное на основе мнений экспертов, деятельности конкурентов.
2. Расчет многомерной средней индикаторов как среднее значение всех индикаторов, представленных в относительной форме:
B
I = AM × M! × M (4)
где I – интегральная оценка трансформационного эффекта по выбранным для цифрового решения показателям; Mn – многомерная средняя всех показателей.
Полученное значение варьируется в диапазоне от 0 до 1 и интерпретируется по шкале (табл. 3).
21

Таблица 3 – Интерпретация оценки трансформационного эффекта цифрового решения по шкале Харрингтона
Уровень трансформационного эффекта
Высокий
Средний
Низкий Трансформационный эффект отсутствует
Интервалы значений функции желательности
0,75-1
0,5-0,75
0,25-0,5
0-0,25
На основании анализа позиции, которую может занимать цифровое решение в матрице в зависимости от различных значений показателей, характеризующих его эффективность, возможно определить перспективы и целесообразность дальнейшей работы по его внедрению.
Так, в зоне трансформационно-производственного максимума целесообразно поддержание и развитие цифрового решения. В зоне роста производственного эффекта, как и в зоне трансформационного максимума возможны два пути: инвестиции в повышение производительности оборудования или отказ от цифрового решения. Если цифровое решение попадает в зону производственного максимума и высокая эффективность работы оборудования на данном этапе для компании приоритетна, следует продолжить инвестировать в его развитие.
В зоне трансформационно-производственного роста значения обоих показателей ниже нормы. В данном случае целесообразно либо инвестировать в цифровое решение одновременно в части развития и программной составляющей, и оборудования, либо в принципе отказаться от дальнейшего внедрения.
Шестое поле матрицы –трансформационное «дно» – предназначено для наименее эффективных цифровых решений с точки зрения всех показателей, и от их внедрения рекомендуется отказаться.
Апробация основных разработок диссертационного исследования проведена на ОАО «Челябинский механический завод». В результате проведенной апробации удалось сформировать пакет рекомендаций по внедрению цифровых решений в деятельность промышленного предприятия и разработке программы цифровой трансформации.
Проведенная апробация позволяет сделать вывод об адекватности и практической применимости разработанных методов.
III. ЗАКЛЮЧЕНИЕ
Основным результатом диссертационного исследования является разработанный методический инструментарий, позволяющий провести оценку, с учетом специфики цифрового решения, его экономической эффективности и осуществить анализ целесообразности и перспектив реализации цифрового решения с помощью шестипольной аналитической матрицы для анализа цифровых решений.
Удалось доказать гипотезу относительно влияния цифровых решений на выручку, EBITDA и производительность труда промышленного предприятия, и тем самым подтвердить адекватность и практическую применимость предложенного в работе методического подхода.
Ключевыми отличиями научных результатов исследования являются следующие:
– возможность анализа и количественной оценки результатов внедрения цифровых решений с учетом их специфики;
– выявление и количественная оценка трансформационного решения;
– определение перспектив по работе с цифровым решением на основании занимаемого им положения в предложенной матрице.
Реализация методического подхода дает возможность промышленному предприятию принимать взвешенные решения относительно работы с цифровыми технологиями, целесообразности их внедрения, что, в конечном итоге, позволяет быть более конкурентоспособным в условиях цифровой экономики.

Актуальность темы исследования. Цифровизация является одним из
основных направлений современного развития и драйвером прогресса. При этом
скорость внедрения и масштаб применения цифровых технологий в разрезе
отраслей российской экономики крайне неоднородны. Так, несмотря на
соответствие вектора развития российских промышленных предприятий с
соответствующими трендами развитых стран, можно констатировать отставание
промышленности России не только от промышленности этих стран (по разным
оценкам, от 5, иногда до 10 лет), но и, в частности, от финансового сектора РФ.
Эта ситуация во многом объясняется спецификой промышленного сектора, к
которой специалисты относят такие особенности как высокая стоимость цифровых
решений наряду с дефицитом финансирования, износ основных средств наряду с
большой технологической сложностью производственных процессов и
недостаточным уровнем развития автоматизированных систем управления
технологическими процессами, некоторый консерватизм ряда отраслей, дефицит
квалифицированных кадров, высокая цена ошибок.
Особенности внутренней среды усугубляются внешними угрозами, такими,
в частности, как специфика, вследствие существенной доли государственного
сектора в промышленности, условий конкуренции, санкции, затрудняющие доступ
к передовым технологиям мирового уровня, и другие.
Все это свидетельствует о высоких технологических и финансовых рисках, с
которыми сопряжена цифровизация промышленности. Тем не менее, по ряду
оценок, большинство руководителей промышленных предприятий видят в
цифровых технологиях больше возможностей, нежели угроз. Согласно
исследованию, проведенному Rockwell Automation совместно с IDC, уже к 2023
году 75% российских промышленных предприятий планируют разработать
комплексные дорожные карты цифровой трансформации. Планируется рост
государственной поддержки цифровизации промышленных предприятий, в рамках
которой предполагается внедрение перспективных цифровых технологий.
Все это вызывало интерес к проблемам цифровой трансформации
промышленных предприятий, как в научной, так и в консалтинговой среде.
Появилось достаточно большое количество публикаций в этой области, однако ее
анализ показывает – в научной литературе все еще недостаточно внимания уделено
проблеме поиска подходов к анализу цифровых решений и к оценке
целесообразности и перспектив их внедрения.
Таким образом, в настоящее время сложилось определенное противоречие
между, с одной стороны, высокой потребностью менеджмента промышленных
предприятиях в методических инструментах анализа и оценки цифровых решений,
и с другой – во все еще недостаточным уровнем теоретических и методических
проработок в этом направлении, что подтверждает актуальность темы настоящего
исследования, его цели и задач.
Степень научной разработанности проблемы
Разработке теоретических и практических аспектов проблемы анализа и
оценки цифровизации в экономике посвящены работы таких зарубежных
теоретиков-исследователей и практиков бизнеса, как Э. Брайнджолфсон, Х. Гилл,
Б. Кахин, Х. Кинг, Р. Клинг, Р. Лэмб, Т.Л. Мезенбург, Н. Негропонте, Р. Сабатини,
Д. Тапскотт, К. Эштон. Среди отечественных авторов проблему исследовали
Ю.М. Акаткин, В.В. Акбердина, А.А. Алабугин, С.В. Амелин, Г.Н. Андреева,
Т.Г. Богатырева, С.Д. Бодрунов, Ю.В. Вертакова, И.П. Довбий, Н.Р. Кельчевская,
А.В. Кешелава, Г.Б. Коровин, В.В. Криворотов, В.С. Курдюмов, Л. В. Лапидус,
Л.С. Леонтьева, Е.А. Лясковская, Ю.В. Мелешко, Р.В. Мещеряков, В.Г. Мохов,
А.В. Олексин, С.В. Орехова, В.В. Плотникова, М.Н. Руденко, В.В. Трофимов,
Г.В. Федотова, Е.Б. Хоменко, Е.В. Ширинкина, Е.В. Шкарупета и другие.
Вопросы анализа инвестиционных решений исследованы в работах
зарубежных авторов: И.А. Бланка, Г. Марковица, М. Миллера, Ф. Модильяни,
Ф.Х. Найта, Э. Петерса, Ш. Пратта, Д. Рикардо, Дж. Уильямса, И. Фишера,
С. Хаймера, У. Шарпа, а также отечественных исследователей, таких как И.А. Баев,
Т.Л. Безрукова, Г.В. Голикова, Д.А. Ендовицкий, В.Н. Лившиц, Р.А. Майский,
Г.З. Низамова, С.В. Рачек, И.А. Соловьева, Д.А. Шагеев, А.Н. Швецов, А.В. Шмидт
и другие.
Вместе с тем, несмотря на имеющиеся достижения в этой области, все еще
отсутствуют общепризнанные методические подходы к анализу цифровых
решений, учитывающие специфику последних и позволяющие получить точное
представление о том, оправданы ли инвестиции в их разработку и внедрение.
Актуальность и высокая практическая значимость разработки методического
инструментария оценки и анализа цифровых решений промышленных
предприятий предопределили выбор темы диссертационного исследования, его
содержание, постановку целей и задач.
Цель и задачи диссертационного исследования. Цель диссертационной
работы заключается в обосновании и развитии теоретических и методических
положений в сфере оценки и анализа цифровых решений промышленного
предприятия.
Достижение поставленной цели потребовало решения следующих задач.
1. Выявить генезис цифровых решений и их специфику, позволяющую
сформулировать систему принципов и критериев, которым должен
соответствовать методический подход к их оценке и анализу.
2. Разработать методический подход к оценке эффективности цифровых
решений в зависимости от их типа.
3. Провести статистическое исследование зависимости результатов

Подводя итог проведенного диссертационного исследования, сформулируем
его основные результаты.
1. Обоснована актуальность проблемы цифровизации промышленности,
которая связана с высоким уровнем технологических и финансовых рисков
внедрения цифровых технологий. В условиях современной экономики цифровые
решения являются неотъемлемым условием удержанием конкурентоспособных
позиций промышленного предприятия. Определена, с одной стороны, потребность
промышленных предприятий в методическом инструментарии оценки и анализа
цифровых решений, с другой стороны, недостаточный уровень теоретических и
методических разработок в данном направлении.
2. Выявлен генезис развития цифровых решений на основании исследования
развития цифровой экономики. Он свидетельствует о том, что на каждом этапе
цифровой экономики спектр цифровых решений и технологий постоянно
увеличивался. На сегодняшний день существует большое многообразие цифровых
решений, обладающих рядом специфических черт.
3. Осуществлена систематизация цифровых решений по 6 признакам. В
предложенной классификации, помимо уже существующих признаков,
использован новый – способность цифрового решения интегрировать в себе
физические и программные компоненты, с учетом чего выделены три типа
цифровых решений: программные продукты, киберфизические системы и решения
по внедрению цифрового оборудования.
4. Уточнено определение понятия «трансформационный эффект». В рамках
настоящего исследования под ним понимаются наблюдаемые и измеримые
последствия изменений принципов осуществления деятельности в компании,
которые удовлетворяют следующим критериям:
– цифровое решение позволяет осуществлять бизнес-процесс принципиально
новым способом, не использовавшимся ранее;
– доступ к цифровому решению предоставляется каждому пользователю в
соответствии с его функционалом и не дискриминирует пользователей;
– действия всех участников бизнес-процесса открыты и прозрачны;
– цифровое решение позволяет выполнять определенные задачи, стоящие
перед промышленной компанией.
5. На основании классификации цифровые решений выявлена их специфика,
которая должна быть учтена при анализе и оценке внедряемого решения на
промышленном предприятии. В связи с этим сформулированы принципы и
требования к методическому подходу по анализу и оценке цифровых решений
промышленного предприятия. Он должен быть способен:
– оценивать эффективность физической составляющей;
– оценивать экономическую эффективность;
– оценивать эффективность использования человеческого капитала;
– оценивать трансформационный эффект;
– учитывать риски;
– оценивать стоимость цифровых решений.
6. Проведен сравнительный анализ методик оценки инвестиционных
проектов, который показал, что ни один из существующих подходов не учитывает
в полной мере специфику цифровых решений и не соответствует
сформулированным принципам и требованиям. Без точного анализа и корректной
оценки цифрового решения промышленное предприятие не может определить,
целесообразно ли его внедрение. В связи с этим была поставлена задача
разработать методический подход к оценке эффективности цифровых решений в
зависимости от их типа.
7. Предложен методический подход к оценке эффективности цифровых
решений в зависимости от их типа, включающий комплекс методов: оценки
экономической эффективности киберфизических систем и решений по внедрению
цифрового оборудования и оценки использования программных продуктов в
реализации цифровых решений. Отличие первого метода заключается в новом
подходе к определению стоимости цифрового решения, что предполагает учет
поправки на риск инвестиций в реализацию такого решения, а также применением
интегрированного показателя оценки эффективности оборудования. Данный
показатель представляет собой модифицированную версию показателя OEE. Его
отличие от OEE заключается в учете эффективности работы оператора, что при
внедрении киберфизических систем, а также решений по внедрению цифрового
оборудования представляется необходимым, так как, по мнению исследователей,
эффективность работы данных систем во многом определяется квалификацией
сотрудника, управляющего ими.
Отличие второго метода заключается в расчете стоимости с учетом поправки
на риск. В рамках исследования поправка на риск представляет собой совокупную
оценку всех, присущих цифровому решению, рисков экспертным методом по
десятибалльной шкале, с точки зрения вероятности их реализации и степени
значимости последствий такой реализации (потери, которые будут понесены в
результате наступления риска). В части оценки доходности таких решений
особенность метода заключается в применении коэффициент SC/EBITDA. Он
показывает, сколько прибыли до выплаты налогов, процентов и амортизации,
генерируемых цифровым решением, понадобится для полной окупаемости
стоимости ПО.
Предложенный методический подход позволяет получить более корректные
и объективные оценки экономической эффективности цифровых продуктов.
8. Проведено статистическое исследование зависимости результатов
деятельности промышленного предприятия от реализации цифровых решений. В
качестве основы использовалась репрезентативная выборка промышленных
предприятий, а также инструменты ковариационного и корреляционного анализа.
В ходе исследования были использованы инструменты анализа и оценки
программных продуктов, что позволило выявить динамику коэффициента
SC/EBITDA. Его снижение, которое было зафиксировано для трех промышленных
предприятий в выборке, свидетельствует о том, что каждая единица затрат
генерирует больший объем прибыли до уплаты процентов, налогов и
амортизационных отчислений. Во всех остальных случаях, когда зафиксирован
рост показателя, что означает отрицательную динамику, отмечено снижение
EBITDA на фоне одновременного роста расходов на цифровизацию и НИОКР.
9. Осуществлена проверка гипотезы о влиянии цифровых решений на
выручку, EBITDA и производительность труда. Коэффициент ковариации
подтвердил наличие связи между расходами на цифровизацию и НИОКР и
показателями выручки и EBITDA. Данные корреляционного анализа, который был
осуществлен на следующем этапе исследования, свидетельствуют о наличии
сильной взаимосвязи между вложениями в цифровизацию и НИОКР и прибылью
до оплаты процентов по кредитам, налогов и амортизации. С учетом этого
показатель EBITDA может использоваться для оценки экономической
эффективности, между ним и вложениями в цифровые решения присутствует
сильная прямая зависимость, в связи с чем можно предполагать: расходы на
цифровизацию являются фактором, способствующим росту EBITDA.
10. Выявлена сильная положительная зависимость между исследуемыми
показателями (расходы на цифровизацию и НИОКР и EBITDA) по данным 2020 г.
Для определения характера данной зависимости и степени влияния факторного
признака – расходов на цифровизацию и НИОКР на результирующий – EBITDA
проведен анализ с помощью метода наименьших квадратов. В результате получена
модель, которая может считаться достаточно достоверной и с учетом этого
использоваться в прогнозировании влияния инвестиций во внедрение цифровых
решений на промышленном предприятии на объем получаемой прибыли до оплаты
процентов по кредитам, налогов и амортизации.
11. Предложена шестипольная аналитическая матрица для анализа цифровых
решений в координатах «Эффективность работы оборудования –
трансформационный эффект». В качестве координат матрицы приняты показатели
OEEWO и трансформационный эффект, которые характеризуют эффективность
внедрения киберфизических систем и проектов по внедрению цифрового
оборудования на промышленном предприятии. Предложен метод количественной
оценки трансформационного эффекта с использованием функции желательности
Харрингтона.
Матрица позволяет отнести цифровое решение к одной из шести зон с точки
зрения оценки эффективности работы оборудования и уровня трансформационного
эффекта: трансформационно-производственный максимум, зона роста
производственного эффекта, трансформационный максимум, производственный
максимум, зона трансформационно-производственного роста, трансформационное
«дно». В зоне трансформационно-производственного максимума рекомендуется
развивать цифровое решение.
В случае, если цифровое решение оказывается в зоне роста
производственного эффекта или трансформационного максимума, допускаются
инвестиции в повышение производительности оборудования или отказ от
цифрового решения. В зоне производственного максимума продолжать
инвестировать в решение нужно тем компаниям, для которых производственная
эффективность приоритетнее трансформационного эффекта. В зоне
трансформационно-производственного роста следует либо увеличивать
инвестиции в оба направления (производство и трансформационный эффект), либо
отказываться от внедрения. Если цифровое решение оказывается в поле
трансформационное «дно», то его реализация нецелесообразна.
12. Апробация основных разработок диссертационного исследования
проведена на ОАО «Челябинский механический завод». Она позволила разработать
пакет рекомендаций по оценке и анализу цифровых решений промышленного
предприятия с учетом их специфики, а также сформировать программу цифровой
трансформации. Апробация подтвердила адекватность и практическую
применимость предлагаемых методов.

Заказать новую

Лучшие эксперты сервиса ждут твоего задания

от 5 000 ₽

Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям

    Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

    Читать «Методический инструментарий оценки и анализа цифровых решений промышленного предприятия»

    Публикации автора в научных журналах

    Методический подход к оценке эффективности цифровых инвестиционных проектов
    Любименко, Д. А. Методический подход к оценке эффективности цифровых инвестиционных проектов / Д. А. Любименко, Е. Д. Вайсман // Экономика. Информатика. – 2– Т. – No – С. 718–– DOI 18413/2687-0932-2020-47-4-718-(авт. 0,8 п.л.)Вайсман, Е. Д. К вопросу оценки экономической эффективности цифровых инвестиционных проектов / Е. Д. Вайсман, Д. А. Любименко // Вестник Южно-Уральского государственного университета. Серия: Экономика и менеджмент. – 2– Т. – No – С. 122–– DOI 14529/em210(авт. 0,8 п.л.)
    Методический подход к оценке эффективности инжиниринговых проектов внедрения киберфизических систем в деятельность промышленных предприятий
    Д. А. Любименко, Е. Д. Вайсман // Экономика. Информатика. – 2021 – Т. – No – С. 663– DOI 52575/2687-0932-2021-48-4-663-(авт. 0,9 п.л.)
    Methods of a weak market signals for evaluation the economic efficiency of digital investment projects
    Vaisman Е. D., Lyubimenko D.A., Nikiforova N. S. and Zagornaia T.O. // Proceedings of the 35th International Business Information Management Association Conference – Innovation Management and Education Excellence Vision 2020: From Regional23Development Sustainability to Global Economic Growth (IBIMA). – 2020, Seville, Spain. – р. 7292–7303 (авт. 0,6 п.л.)
    Анализ эффективности программных продуктов промышленных предприятий как одного из видов цифровых решений
    Д.А.Любименко // Научные исследования, разработки и практические внедрения: материалы VII Международной научно-практической конференции (31 января 2022г.): в 2-х ч. Ч-– г. Ставрополь: ООО «Ставропольское изд-во «Параграф», 2– С. 420–(авт. 0,28 п.л.)

    Помогаем с подготовкой сопроводительных документов

    Совместно разработаем индивидуальный план и выберем тему работы Подробнее
    Помощь в подготовке к кандидатскому экзамену и допуске к нему Подробнее
    Поможем в написании научных статей для публикации в журналах ВАК Подробнее
    Структурируем работу и напишем автореферат Подробнее

    Хочешь уникальную работу?

    Больше 3 000 экспертов уже готовы начать работу над твоим проектом!

    Сергей Е. МГУ 2012, физический, выпускник, кандидат наук
    4.9 (5 отзывов)
    Имеется большой опыт написания творческих работ на различных порталах от эссе до кандидатских диссертаций, решения задач и выполнения лабораторных работ по любым напра... Читать все
    Имеется большой опыт написания творческих работ на различных порталах от эссе до кандидатских диссертаций, решения задач и выполнения лабораторных работ по любым направлениям физики, математики, химии и других естественных наук.
    #Кандидатские #Магистерские
    5 Выполненных работ
    Анна Н. Государственный университет управления 2021, Экономика и ...
    0 (13 отзывов)
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уни... Читать все
    Закончила ГУУ с отличием "Бухгалтерский учет, анализ и аудит". Выполнить разные работы: от рефератов до диссертаций. Также пишу доклады, делаю презентации, повышаю уникальности с нуля. Все работы оформляю в соответствии с ГОСТ.
    #Кандидатские #Магистерские
    0 Выполненных работ
    Рима С.
    5 (18 отзывов)
    Берусь за решение юридических задач, за написание серьезных научных статей, магистерских диссертаций и дипломных работ. Окончила Кемеровский государственный универси... Читать все
    Берусь за решение юридических задач, за написание серьезных научных статей, магистерских диссертаций и дипломных работ. Окончила Кемеровский государственный университет, являюсь бакалавром, магистром юриспруденции (с отличием)
    #Кандидатские #Магистерские
    38 Выполненных работ
    Андрей С. Тверской государственный университет 2011, математический...
    4.7 (82 отзыва)
    Учился на мат.факе ТвГУ. Любовь к математике там привили на столько, что я, похоже, никогда не перестану этим заниматься! Сейчас работаю в IT и пытаюсь найти время на... Читать все
    Учился на мат.факе ТвГУ. Любовь к математике там привили на столько, что я, похоже, никогда не перестану этим заниматься! Сейчас работаю в IT и пытаюсь найти время на продолжение диссертационной работы... Всегда готов помочь! ;)
    #Кандидатские #Магистерские
    164 Выполненных работы
    Вики Р.
    5 (44 отзыва)
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написан... Читать все
    Наличие красного диплома УрГЮУ по специальности юрист. Опыт работы в профессии - сфера банкротства. Уровень выполняемых работ - до магистерских диссертаций. Написание письменных работ для меня в удовольствие.Всегда качественно.
    #Кандидатские #Магистерские
    60 Выполненных работ
    Шагали Е. УрГЭУ 2007, Экономика, преподаватель
    4.4 (59 отзывов)
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и... Читать все
    Серьезно отношусь к тренировке собственного интеллекта, поэтому постоянно учусь сама и с удовольствием пишу для других. За 15 лет работы выполнила более 600 дипломов и диссертаций, Есть любимые темы - они дешевле обойдутся, ибо в радость)
    #Кандидатские #Магистерские
    76 Выполненных работ
    Егор В. кандидат наук, доцент
    5 (428 отзывов)
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Ск... Читать все
    Здравствуйте. Занимаюсь выполнением работ более 14 лет. Очень большой опыт. Более 400 успешно защищенных дипломов и диссертаций. Берусь только со 100% уверенностью. Скорее всего Ваш заказ будет выполнен раньше срока.
    #Кандидатские #Магистерские
    694 Выполненных работы
    Дмитрий М. БГАТУ 2001, электрификации, выпускник
    4.8 (17 отзывов)
    Помогаю с выполнением курсовых проектов и контрольных работ по электроснабжению, электроосвещению, электрическим машинам, электротехнике. Занимался наукой, писал стать... Читать все
    Помогаю с выполнением курсовых проектов и контрольных работ по электроснабжению, электроосвещению, электрическим машинам, электротехнике. Занимался наукой, писал статьи, патенты, кандидатскую диссертацию, преподавал. Занимаюсь этим с 2003.
    #Кандидатские #Магистерские
    19 Выполненных работ
    Евгения Р.
    5 (188 отзывов)
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и со... Читать все
    Мой опыт в написании работ - 9 лет. Я специализируюсь на написании курсовых работ, ВКР и магистерских диссертаций, также пишу научные статьи, провожу исследования и создаю красивые презентации. Сопровождаю работы до сдачи, на связи 24/7 ?
    #Кандидатские #Магистерские
    359 Выполненных работ

    Последние выполненные заказы

    Другие учебные работы по предмету

    Разработка механизма совершенствования оплаты труда нефтегазовых компаний в условиях цифровой экономики
    📅 2022 год
    🏢 ФГАОУ ВО «Российский государственный университет нефти и газа (национальный исследовательский университет) имени И.М. Губкина».
    Совершенствование системы социальной защиты населения на основе повышения эффективности взаимодействия органов публичной власти и бизнеса
    📅 2022 год
    🏢 ФГБУ «Всероссийский научно-исследовательский институт труда» Министерства труда и социальной защиты Российской Федерации