Метод оценки уровня зрелости организации на основе использования интеллектуальных информационных систем

Во введении изложена актуальность проблемы, сформулированы ос-
новные положения, выносимые на защиту, представлена краткая характери-
стика диссертации.
В первой главе рассмотрены характерные особенности процесса са-
мооценки организации, который представляет собой инструмент для анализа
уровня зрелости организации с целью выявления сильных и слабых сторон и
возможностей для совершенствования и (или) использования инновационно-
го подхода. Среди различных методологий, используемых на практике, пре-
мии по качеству являются стимулом экономических субъектов во внедрении
СМК. Так как при отсутствии СМК, высокий уровень качества товаров не-
возможен.
Первоочередной задачей после принятия решения о проведении про-
цедуры самооценки является продуктивная деятельность по установлению
приоритетных направлений работы по совершенствованию СМК организа-
ции. Данное требование является обязательным вне зависимости от того, ка-
кую именно систему самооценки предпочтет организация.
В настоящее время, практически отсутствуют труды в области приме-
нения интеллектуальных информационных систем для проведения самооцен-
ки. Автоматизация процесса решения подобных задач, основанных на анали-
зе качественных признаков и работе с нечеткими знаниями, позволит повы-
сить доступность и удобство применения системы, снизить временные и тру-
довые затраты на процесс определения уровня зрелости организации.
Анализ состояния вопроса в области самооценки показал:
1. Актуальность проблемы, охватывающей разнообразные аспекты
процесса самооценки организации на основе подхода с использованием
СМК, подтверждается, в первую очередь, ее прикладным значением. Адек-
ватная оценка функционирования СМК под силу лишь высококвалифициро-
ванному специалисту – эксперту. Вместе с тем велика вероятность утраты
опыта эксперта, да и количество экспертов не соответствует потребностям
практики. В связи с этим целесообразно применение интеллектуальных си-
стем поддержки принятия решений.
2. Процедуры определения уровня зрелости организации с трудом
поддаются формализации из-за множества разнородных причин, то есть дан-
ная проблема относится к разряду плохо формализуемых. Процесс принятия
решений по самооценке происходит в условиях нечеткости и неполноты зна-
ний, так как большинство данных о функционировании СМК имеет каче-
ственный характер. Кроме того, знания рассматриваемой предметной области
в большинстве своем представлены в виде эвристик, что затрудняет их пере-
дачу в рамках традиционных способов обработки данных.
3. Важность решения задачи оценки уровня зрелости организации для
обеспечения устойчивого успеха организации, с одной стороны, и ее недо-
статочная формализация, с другой стороны, требуют обеспечить достижение
цели имеющимися средствами, при наличии персонала различной квалифи-
кации.
Анализ показал, что расширить возможности самооценки для анализа
уровня зрелости организации, представляется возможным на основе подхода
с использованием теории нечетких множеств. Данный подход полностью со-
ответствует современному представлению стандартов ИСО в области управ-
ления знаниями организации. В связи с этим научная гипотеза состояла в
том, что добиться необходимого качества работ по самооценке организации
снизить временные затраты на ее осуществление и вероятность риска неадек-
ватного ее решения при наличии персонала различной квалификации и име-
ющихся технических средств возможно за счет обеспечения информацион-
ной поддержки ЛПР.
Во второй главе на основе общей теории принятия решений рассмот-
рены теоретические аспекты оценки уровня зрелости организации на основе
СМК. В работе предлагается новый метод анализа процесса оценки с исполь-
зованием нечетких знаний.
Одна из главных задач организации – оценка перспектив в направле-
нии достижения устойчивого успеха. Особую актуальность приобретает эта
задача в сложной, непрерывно меняющейся обстановке. Важным элементом
определения состояния организации является постоянный мониторинг уров-
ня зрелости в направлении достижения устойчивого успеха, для чего исполь-
зуется самооценка. В методике самооценки используется 5 уровней зрелости,
которые выставляются по каждому направлению деятельности, установлен-
ных стандартом ГОСТ Р ИСО 9004-2019.
Определение типа оценки является важной задачей, так как оказывает
решающее влияние на процедуру принятия решений и адекватность резуль-
тата полученной оценки. Данная задача осложняется тем, что при проведе-
нии оценки мы имеем дело с множеством качественных факторов, имеющих
зачастую нечеткую природу.
Методика самооценки, представленная в стандарте, предполагает при-
менение оценок 2 типов. Первый в качестве экспресс-анализа предполагает
использование 9 ключевых элементов. Второй – развернутый метод основан
на использовании 6 основных групп критериев (среда организации, лидер-
ство, менеджмент процессов, менеджмент ресурсов, анализ и оценка резуль-
татов деятельности организации, улучшение, извлечение уроков и иннова-
ции), на основе которых целесообразно рассматривать внутренние проблемы
организации. В соответствии со стандартом оценка 2-го типа используется
для углубленного анализа ситуации на предприятии. Необходимо отметить,
что предусмотрено использование различной мощности множества призна-
ков. Если в первом случае анализ проводится по 9 ключевым элементам, то
во втором случае используется 31 критерий (155 элементов).
Для реализации предлагаемого метода необходимо решить задачи,
связанные с моделированием предметной области, т.е. структуризацией и
формализацией знаний. Зачастую ряд характеристик сложно измерить коли-
чественно, поэтому предполагается разработка квалиметрической шкалы для
оценки качественных характеристик.
Нами разработан метод решения задачи оценки уровня зрелости на ос-
нове нечеткого моделирования (рисунок 1).
Рисунок 1 – Схема метода решения задачи оценки

Для реализации разработанного метода нами используется процессный
подход. На рисунке 2 представлена контекстная диаграмма процесса оценки
уровня зрелости организации.

Рисунок 2 – Контекстная диаграмма процесса оценки
Нечеткий логический вывод представляет собой аппроксимацию зави-
симости «вход – выход» на основе лингвистических высказываний вида
«ЕСЛИ, ТО» и логических операций над нечеткими множествами. В нашем
случае анализируется ситуация моделирования с дискретным выходом.
Рассмотрим задачу, когда в зависимости от возможных значений
входной информации экспертом делается вывод о результирующей оценке
(об уровне зрелости организации). Обозначим через {X} множество значений
входных признаков, т.е. совокупность оценок основных групп критериев,
определяющих величину выходной оценки V (уровня зрелости). Для решения
поставленной задачи необходимо решить вопросы моделирования знаний об
отношениях рассматриваемых признаков, а также процедурах принятия ре-
шений. В соответствии с логико-лингвистическим подходом нами разработа-
ны модели входных и выходного признаков X, V в виде семантических про-
странств и соответствующих им функций принадлежности (ФП). Обобщен-
ная модель предметной области «оценка уровня зрелости организации» в ви-
де композиции нечетких отношений рассматриваемых семантических про-
странств имеет вид:
R = X → V,(1)
где R – нечеткое отношение между группами критериев и выходным призна-
ком
R{Xi, Т(Xi), Uxi, Gxi, Mxi} × ‹βV, TV, V, GV, MV› ∀(x,v) ∈X×V,
где Xi – наименование лингвистических переменных; T(Xi) – наборы базовых
терм-множеств (значений лингвистических переменных); Uxi – описание об-
ластей определения (значение носителя); Gxi – синтаксические правила; Mxi
– функции принадлежности рассматриваемых нечетких множеств.
На этапе фаззификации каждый из k экспертов представляет конкрет-
ную модель оценки нечеткого признака. Предлагаемая модель может вклю-
чать m термов. При анализе согласованности нечеткой экспертной информа-
~
ции вычислялись аддитивный k и мультипликативный k показатели согла-
сованности, на основе которых сформулировано суждение об адекватности
экспертного оценивания. В диссертации предложена методика вычисления
весовых коэффициентов экспертов с целью учета не только их различной
квалификации, но и использования экспертами косвенных средств объектив-
ного контроля разной точности.
В основе механизма вывода решений лежит модель предметной области.
Развернутая форма нечеткого логического вывода для рассматриваемой си-
стемы знаний имеет вид:
∨ (μ A′ ( x) ∧ μ R (x,y )).
μ B′ =
x∈X
На этапе дефаззификации вычисляются точные значения результиру-
ющих лингвистических переменных (ЛП). Наиболее распространённым яв-
ляется метод «центра тяжести»:
y′j =(∫ y Y μ
jjB′) (∫μ
( y j )dy j /B′)
( y jY j )dy j .
При проведении экспертной оценки важным условием успеха является
адекватное формализованное представление информации, не поддающейся
количественному измерению, так, чтобы помочь лицу, принимающему реше-
ние, выбрать из множества действий рациональное или оптимальное. В связи
с чем, оценка значимости факторов, влияющих на общую оценку уровня зре-
лости организации, является важной задачей. Для количественного опреде-
ления сравнительной важности факторов проблемной ситуации использовал-
ся метод анализа иерархий. Полученные весовые коэффициенты использова-
лись при формулировке правил базы знаний интеллектуальной информаци-
онной системы. В частности, при решении конкретной задачи на основе оце-
нок разных типов установлено, что наиболее весомым ключевым элементов
является №5 – «Как организована деятельность» (из рассмотренных 9 ключе-
вых элементов), а наиболее весомым признаком является группа критериев
«Менеджмент процессов».
В третьей главе представлено решение различных подзадач логико-
лингвистического описания предметной области.
Для решения задачи предложена квалиметрическая оценка основных
групп критериев на основе применения бальной шкалы для оценки элементов
каждого критерия. Это позволило формализовать качественные характери-
стики и повысить объективность проведения анализа. На основании реко-
мендаций ГОСТ Р ИСО 9004-2019 нами установлена целесообразность вклю-
чения единичного критерия «миссия, видение, ценности и культура» в каче-
стве дополнительного критерия в группу критериев «лидерство».
При присвоении баллов используются следующие правила. По каждо-
му критерию, входящему в определенную группу, экспертом в случае поло-
жительного ответа соответствия требованиям содержания элемента, может
быть присвоено от 1 до 5 баллов (установленного уровня): уровень 1 – 1 балл,
уровень 2 – 2 балла и далее соответственно 3 балла, 4 балла, 5 баллов.
Важной задачей при формализации нечетких знаний является выбор
рационального числа значений ЛП (термов), а также установление пределов
изменения носителей. Каждая из основных групп критериев представлена в
виде ЛП. Установлены следующие термы ЛП: низкий (соответствует 1 и 2
уровням), средний (соответствует 3 уровню), высокий (соответствует 4 и 5
уровням). Это обусловлено ограниченным количеством приведенных в стан-
дарте критериев. Уменьшение числа термов с 5 до 3 позволило значительно
снизить объем базы знаний (более чем в 20 раз) при сохранении адекватности
отображения предметной области).
Лингвистическое описание имеет вид:
ЛП «среда организации» (СО) имеет вид:
<СО, балл {низкий, средний, высокий}, [2 - 10], > .
ЛП «лидерство» (Л) имеет вид:
<Л, балл { низкий, средний, высокий}, [5 - 25],>.
ЛП «менеджмент процессов» (МП) имеет вид:
<МП, балл { низкий, средний, высокий}, [6 - 30],>.
ЛП «менеджмент ресурсов» (МР) имеет вид:
<МР, балл {низкий, средний, высокий}, [7 - 35], >.
ЛП «анализ и оценка результатов деятельности организации» (АОР-
ДО) имеет вид:
<АОРДО. балл {низкий, средний, высокий}, [7 – 35] >.
ЛП «улучшения, извлечение уроков и инновации» (УИУИ) имеет вид:
<УИУИ, балл {низкий, средний, высокий}, [4 – 20] >.
Выходная ЛП «уровень зрелости организации» (УЗО):
<УЗО, балл{1 уровень, 2 уровень, 3 уровень, 4 уровень, 5 уровень}, [30- 155]>.
Особенности оценивания определяют использование для входных ЛП
3-х термовой модели (m = 3), а для выходной ЛП – 5-и термовой модели.
Оценки ЛП были даны четырьмя экспертами. Нами проведен анализ
согласованности экспертной информации. Анализ значений аддитивного по-
казателя k и мультипликативного показателя � показал, что согласованность
экспертных оценок достаточно высокая (значения коэффициентов находятся
в пределах от 0,74 до 0,933).
В результате построены обобщенные функции принадлежности вход-
ных и выходной ЛП с учетом рангов экспертов. На рисунке 3 приведен гра-
фик ФП выходной лингвистической переменной – УЗО.

Рисунок 3 – Вид обобщённой ФП выходной ЛП

При выборе решений в нечетких условиях, которые как раз и характе-
ризуют особенности функционирования СМК, экспертная информация пред-
ставлена в виде системы условных нечетких высказываний, устанавливаю-
щих взаимосвязь между значениями входных признаков и выходной пере-
менной.
Обозначим через Xi множество основных групп критериев в соответ-
ствии с ГОСТ, существенно влияющих на выбор выходного параметра V –
уровня зрелости организации. В результате анализа предметной области со-
здана база знаний, на которой основан логический вывод решения. База зна-
ний для оценки уровня зрелости организации содержит 729 правил вида:

=1 � �, ℎ ,
где Xn – входные переменные (лингвистические переменный основных групп
критериев); V – выходная переменная (лингвистическая переменная – уровень
зрелости организации); и – их значения, определенные множествами
и B соответственно.
Ниже представлен фрагмент базы знаний, содержащий правила, ис-
пользуемые в дальнейшем при формировании решения (таблица).
Таблица – Правила базы знаний
4ЕСЛИ < СО есть «уровень низкий» и Л есть «уровень низкий» и МП есть «уровень низкий» и МР есть «уровень низкий» и АОРДО есть «уровень средний» и УИУИ есть «уровень низкий»> ТО < УЗО есть уровень 1 >
…
365 ЕСЛИ < СО есть «уровень средний» и Л есть «уровень средний» и МП есть «уровень средний» и МР есть «уровень средний» и АОРДО есть «уровень средний» и УИУИ есть «уровень средний» > ТО < УЗО есть уровень 3 >
…
729 ЕСЛИ < СО есть «уровень высокий» и Л есть «уровень высокий» и МП есть «уровень высокий» и МР есть «уровень высокий» и АОРДО есть «уровень высокий» и УИУИ есть «уровень высокий»> ТО < УЗО есть уровень 5 >

Анализ системы продукционных правил в среде MatLab (рисунок 4)
подтвердил адекватность описания отношений признаков рассматриваемой
предметной области.
Для каждого текущего состояния существует хотя бы одно правило,
посылка которого имеет ненулевую степень принадлежности. Отсутствуют
правила, имеющие сходные посылки и взаимоисключающие следствия. Мо-
нотонный характер поверхностей подтверждает объективность продукцион-
ных правил. Проведенные исследования позволили обобщить, структуриро-
вать знания предметной области. Особое внимание при структуризации зна-
ний и построении базы знаний обращалось на полноту, непротиворечивость и
непрерывность системы правил.
В четвертой главе приведены архитектура программной системы, а
также результаты апробации метода в практических условиях.
Для эффективного решения задач самооценки различных типов разра-
ботана интеллектуальная информационная система (ИИС), архитектура кото-
рой представлена на рисунке 5.
Рисунок 4 – Поверхности, описывающие рассматриваемые взаимосвязи:
УИУИ – АОРДО

Особую роль в данной системе играет режим работы со знаниями.
ИИС может работать в двух режимах: а) приобретение знаний; б) решение
задачи. Программная система включает две подсистемы, которые реализуют
определенные стандартом типы оценки: экспресс-метод с использованием 9
ключевых элементов и подход, основанный на анализе основных групп кри-
териев.

Рисунок 5 – Структурная схема интеллектуальной информационной системы

Программный продукт выполнен в виде кроссплатформенного клиент-
серверного приложения. Хранение и обработка всех данных осуществляется
на web-сервере, пользователь взаимодействует с web-сервером при помощи
интернет-браузера (поддерживаются все современные интернет-браузеры –
Mozilla Firefox, Google Chrome, Microsoft Edge, Opera, а также их мобильные
версии), что значительно ускоряет внедрение программного продукта и его
развертывание на базе как основного предприятия, так и дочерних структур.
Для реализации графического интерфейса пользователя применяется
HTML и JS, серверная логика реализована на PHP. Пользователь может поль-
зоваться клиентской частью приложения, используя широкий перечень плат-
форм (ПК, ноутбуки, планшеты, смартфоны) и операционных систем (Win-
dows, MacOS X, Android, iOS). На рисунке 6 приведен фрагмент экрана – ре-
зультат решения задачи оценки уровня зрелости организации.
Апробация подхода выполнена на базе ООО «Комтех-ФинПром» и
ООО «Технический центр «Дон». Была произведена сравнительная оценка
временных затрат на определение уровня зрелости подразделений указанных
организаций с применением ИИС и традиционным способом. Результаты ис-
следований с использованием ИИС показали, что затраты времени на реше-
ние задачи оценки зрелости организации в 2 и более раз меньше, чем тради-
ционным способом.

Рисунок 6 – Представление результатов оценки в виде диаграммы (gauge)

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Развит методологический подход к решению задачи оценки уровня
зрелости организации на основе критериев менеджмента качества в соответ-
ствии со стандартом ГОСТ Р ИСО 9004-2019, который заключается в сово-
купности составляющих: метода экспертной оценки весомости групп крите-
риев и элементов, метода квалиметрической оценки условий задачи и ее па-
раметров, метода формализации нечетких знаний предметной области, мето-
да оценки согласованности нечетких экспертных знаний.
2. Впервые предложена квалиметрическая оценка основных 6 групп
критериев, базирующаяся на положениях стандарта с применением бальной
шкалы для оценки элементов каждого критерия. Результирующая переменная
«уровень зрелости организации» имеет шкалу от 31 до155 баллов.
3. Разработан метод определения уровня зрелости организации на ос-
нове подхода с использованием элементов менеджмента качества. Метод
оценки зрелости организации предусматривает использование 3 типов оце-
нок. Отличительной особенностью метода является учет многокритериально-
сти задачи и нечетких экспертных знаний. Предложено решение многокрите-
риальной задачи, включающей 31 критерий. Это позволило формализовать
качественные характеристики, описать их в виде нечетких моделей и повы-
сить объективность проведения анализа.
4. Определены весомости основных групп критериев оценки уровня
зрелости, а также весомости ключевых элементов в соответствии со стан-
дартными типами оценки. В частности, для организаций, на которых осу-
ществлялась апробация метода, установлены наиболее весомые показатели:
первого типа оценки – элемент 5 – «Как организована деятельность?» (0,179),
для второго типа оценки – группа «Менеджмент процессов» (0,208).
5. Проведена структуризация знаний предметной области – оценка
уровня зрелости организации на основе критериев менеджмента качества.
Решена задача лингвистического описания критериев оценки в виде 6 линг-
вистических переменных – отражающих основные группы критериев в соот-
ветствии со стандартом; определены базовые терм-множества: 3-термовая
модель для входов и 5-термовая модель для результирующего признака. По-
строены функции принадлежности для 6 входных и выходной лингвистиче-
ских переменных. Оценка адекватности формализованной информации под-
тверждена на основе критериев согласованности нечетких экспертных знаний
(значения находятся в интервале от 0,74 до 0,933);
6. Разработана модель предметной области в виде системы продукци-
онных правил с учетом весомости входных признаков. Создана база знаний,
содержащая 729 продукционных правил, на которой основан нечёткий логи-
ческий вывод оценки уровня зрелости организации. Анализ базы знаний под-
твердил выполнение требований полноты и непротиворечивости системы
правил. Моделирование отношений «критерий – значение результирующего
признака» произведена методом композиции максимум-минимум с вычисле-
нием центра тяжести результата вывода по каждому правилу.
7. Разработана программная система, применение которой позволяет
ускорить процесс ввода и обработки необходимой экспертной информации
для проведения оценки (снизить общие затраты времени) более чем в 2 раза,
а также исключить дублирование информации, Использование ИИС позволя-
ет организациям получить адекватное представление о перспективах улуч-
шения системы менеджмента качества организации для достижения устойчи-
вого успеха организации.
Перспективы дальнейших исследований
Дальнейшая разработка темы диссертационной работы связаны с ре-
шением широкого круга задач проблемы интегрированной оценки уровня
зрелости организации, основанной на рассмотрении дополнительных групп
критериев из областей экологии, охраны труда, финансовых показателей. Ис-
пользование разработанного метода для решения задач формализации знаний
указанных областей с учетом как количественных, так и качественных пока-
зателей.