Методы и процедурная модель повышения публикационной активности научных организаций на основе наукометрических инструментов

Во введении обоснована актуальность темы исследования, сформулированы
цель и научные задачи диссертационной работы, указаны научная новизна и прак-
тическая ценность полученных результатов, представлены сведения о структуре
работы и приведены основные положения, выносимые на защиту.
В первой главе «НАУКОМЕТРИЧЕСКИЕ ИНСТРУМЕНТЫ В ОЦЕНКЕ И
УПРАВЛЕНИИ ПУБЛИКАЦИОННОЙ АКТИВНОСТЬЮ НАУЧНЫХ ОРГА-
НИЗАЦИЙ» рассмотрено использование наукометрии и библиометрии в научной
политике и управлении финансированием науки, в национальных программах раз-
вития науки и национальных системах оценки результатов научных исследований,
при составлении международных и национальных рейтингов вузов.
В параграфе 1.1. «Наукометрические инструменты и их применение в оцен-
ке научных исследований» рассмотрен вопрос введения новых элементов в систе-
му научных коммуникаций (НК), что не отменяет и не заменяет известных, тради-
ционных средств. Личные контакты между учеными продолжают оставаться одним
из действенных способов передачи информации. Они дополняются взаимным обме-
ном информацией в научных журналах, участием в научных конференциях. Рас-
смотрена роль печатных и сетевых технологий в системе НК и вопросы этики пуб-
ликации. Среди существенных особенностей современной информационной среды
НК отмечены: формирование виртуального научного пространства; развитие цифро-
вой научной инфраструктуры; формирование системы идентификации авторов и
объектов (ResearcherID – WoS; Author Identifier – Scopus, DOI, ORCID, SPIN –
РИНЦ); развитие облачных технологий; широкое распространение мобильных уст-
ройств и приложений.
Рассмотрены инструменты библиометрического анализа, используемые для
анализа научной деятельности университетов и научных организаций. С точки
зрения оценки исследований важно указать, что включение в научные публикации
большего количества источников не обязательно приводит к более обоснованным
оценкам вклада ученых в продвижение научных знаний. При оценке вклада в на-
учный прогресс большое значение имеют важность источников в конкретной об-
ласти знаний и степень, в которой данные публикации содержат новые знания и
соответствуют профессиональным стандартам качества. Результаты анализа цити-
рования выражаются в виде ранжирования организаций, отдельных ученых, ис-
следовательских отделов или учреждений. Однако концепция качественного уров-
ня научных исследований не может быть полностью отражена количественными
показателями. В последние годы наблюдается рост числа рейтингов, в том числе
академическое ранжирование мировых университетов (Academic Ranking of World
Universities, ARWU), QS World University Rankings (QS), Times Higher Education
World University Rankings (THE), U.S. News Best Global Universities Rankings и рей-
тинги бизнес-школ. Web-инструмент бенчмаркинга, применяемый для сравнения
показателей между странами, может служить платформой для облегчения диагно-
стики альтернативных сценариев реформирования и развития высшего образования.
В параграфе 1.2. «Инструменты библиометрического анализа для оценки и
управления публикационной активностью научной организации» проведена
оценка цитируемости исследований в структуре управления научной деятельностью
организации. Инструменты библиометрического анализа вызывают значительный
интерес у научного сообщества, главным образом, из-за: растущей необходимости
минимизации затрат при распределении грантов государственных и частных иссле-
довательских фондов; признания роли цитирований при оценке научной продуктив-
ности исследовательского подразделения; прозрачности, сопоставимости оценок и
критики системы рецензирования.
Определены инструменты библиометрического анализа, использующиеся для
оценки научных исследований, концепция использования Science Citation Index
(SCI) как интеллектуального инструмента, облегчающего процесс распространения
и поиска научной литературы, а также основные международные нормативные до-
кументы в области надлежащего использования библиометрических показателей.
Проведена обобщающая классификация инструментов библиометрического анали-
за, объединяющая их обозначения и группирующая их в соответствии с исполь-
зуемой структурой или функцией, что позволит информировать ученых и практи-
ков о том, какие показатели должны использоваться для конкретных целей и задач.
Особое внимание уделено различию между качественным уровнем исследования,
оцениваемым коллегами, и влиянием публикации на исследовательскую деятель-
ность ученых, по количеству полученных ссылок.
Рассмотрены направления разработки и использования инструментов библио-
метрического анализа, сети цитирования и альтернативные метрики.
В параграфе 1.3. «Основные принципы разработки процедурной модели по-
вышения публикационной активности научной организации» описана роль пуб-
ликационной активности организации, определены основные функции отдела пуб-
ликационной активности ВУЗа. Приведено описание предлагаемых автором методов
оптимизации информационных ресурсов, использующихся для повышения публи-
кационной активности организации в рамках научных журналов и конференций, а
также продвижение исследований сотрудников в международном научном сообще-
стве. Основным отличием описываемых наукометрических методов от CRIS (Current
Research Information System – информационная система для доступа к научной и
академической информации) является не только обобщение и сбор информации из
существующих источников, но и развитие внутренних информационных ресурсов
организации. Результаты апробации оригинальной научной гипотезы, позволяют
проанализировать динамику полученных результатов при реальном использовании и
комплексном внедрении данных методов в рамках наукометрической модели опти-
мизации информационных ресурсов и оценить возможность адаптации ее инстру-
ментария для научных организаций. Рассмотрены три основных метода оптимиза-
ции информационных ресурсов научной организации, которые планируются к вне-
дрению в два этапа. На первом этапе используются базовый и расширенный методы,
применяющиеся в издательствах научной литературы и издательских подразделени-
ях научных организаций и ВУЗов. На втором этапе производится обработка данных
перекрестного цитирования публикаций научной организации на основе первого
этапа. Данный метод применяется подразделениями по научной работе и публика-
ционной активности организации, проводящими более углубленные исследования и
имеющими опыт в управлении информационными ресурсами организации. Прове-
денный анализ показал, что цитирование – самый ценный инструмент в исследо-
ваниях, посвященных общим вопросам, связанным с академической системой.
Во второй главе «РАЗРАБОТКА МЕТОДОВ И ПРОЦЕДУРНОЙ МОДЕЛИ
ПОВЫШЕНИЯ ПУБЛИКАЦИОННОЙ АКТИВНОСТИ НАУЧНЫХ И ОБРА-
ЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ» разработана аналитическая модель расчета
и оптимизации интегрального показателя научного журнала в рейтинге Science
Index (SI), применимая для всех тематических направлений. Проведённый анализ
показал, что зависимости показателя SI рассматриваемого журнала от числа до-
бавленных цитирований из 1-3-х новых журналов имеют явно выраженный экс-
тремум. Для определения максимального воздействия на показатель SI при цити-
ровании из произвольного количества новых журналов, записанное в общей форме
выражение продифференцировано и найден его экстремум. Определяя значение
данного выражения в точке экстремума, можно рассчитать зависимость максималь-
но возможного роста показателя SI от числа цитирований.
С помощью разработанной аналитической модели расчёта и оптимизации инте-
грального показателя научного журнала: выявлено оптимальное число «новых»
цитирований по критерию максимального значения SI и определен максимальный
относительный выигрыш в значении интегрального показателя научного журнала
в рейтинге Science Index, который зависит только от значения индекса Херфиндаля-
Хиршмана рассматриваемого журнала по цитирующим журналам H1, и количест-
ва добавляемых «новых» журналов n; показано, что попытки искусственного
управления показателями журналов могут быть актуальны только для низкорей-
тинговых журналов. Для высокорейтинговых журналов (с индексом Херфиндаля-
Хиршмана <400) SI может быть увеличен не более чем на 20%. Доказана достаточ- но высокая устойчивость применяемой в РИНЦ методики расчёта значения инте- грального показателя научного журнала в рейтинге Science Index к попыткам искусст- венного управления показателями журнала для высокорейтинговых журналов. Предложено применение методики расчета интегрального показателя научной конференции, аналогичной применяемой для научных журналов. Приведены приме- ры расчетов рейтингов конференций, позволяющих авторам и организациям учиты- вать данные сведения при планировании своего участия в научных мероприятиях различного уровня. Предложен метод повышения позиции организации в националь- ных и международных рейтинговых системах и системах мониторинга по критерию публикационной активности. Разработана и успешно апробирована процедурная мо- дель повышения публикационной активности научных и образовательных организа- ций с использованием наукометрических подходов. В параграфе 2.1. «Метод повышения публикационной активности органи- зации в научных журналах» разработаны: перечень характеристик для монито- ринга текущего состояния публикационной активности организации; комплекс мер, направленных на включение научных журналов организации в национальные и международные базы данных; варианты расширения сотрудничества организа- ции в области публикационной активности в научной периодике. Описаны мето- дики расчёта интегрального показателя научного журнала в рейтинге Science Index и расчёта импакт-фактора в РИНЦ. Разработано математическое описание методи- ки расчёта интегрального показателя научного журнала в рейтинге Science Index: max i . Получено выражение, позволяющее рассчитать значение  SI  S 3  H /10000* N * k 2 d i 1 i интегрального показателя научного журнала в рейтинге Science Index при добав- лении ряда статей с известным количеством ссылок в «новые» журналы при рав- номерном распределении цитирований по ним:Hd(S  n  x)3 . Определе- SI2 () NH1  S 2  10000  n  x2 но оптимальное число «новых» цитирований в n журналов с равномерным их рас- S10000  3*n* H1 xопт  (1) пределениемn по критерию максимального значения SI и макси- мальный относительный выигрыш в значении интегрального показателя научного H1 *(2 y)3у 0,01* 100003*n*H1 журнала в рейтинге Science IndexGопт 1,где. 10000 H1 *(1 y)2 n Полученное выражение для относительного выигрыша в значении показателя SI показывает, что он не зависит от числа статей N, опубликованных в журнале за предыдущие пять лет, и от нормированного индекса Херфиндаля для данного тематического направления Hd – т.е., выражение применимо для всех отраслей. Разработана методика формирования матрицы актуальности цитирования пуб- ликаций. Актуальность цитирования i-ой публикации Ai определяется в соответст- вии с выражением: Ai  a1n *KHAn  a2n *KHOn  a3n *KIOn  a4n *KHJn  a5n *KIFJn , где n  R,W , S  , а n коэффициенты a1n a5n принимают значение «0» или «1» и определяются в соответст- вии с матрицей решаемых задач, где: 1, при 0, 7  C n / H An  1,1  ; 1, при 0, 7  C n / H On  1,1 ; K HOn   K HAn   0, 5, при 0, 3  C n / H An  0, 7  0,в других случаях  0, в других случаях  1, при (0, 7  Cn / H An  1,1) и (0, 7  H An / I On  1,1)  ;1, при 0, 7  C n / H Jn  1,1  ; K IOn   K H Jn   0, в других случаях 0, в других случаях 1, при ( JR  J 1( R , W , S ) и ( текущий  5  Год публикации  текущий )  K IFJn    0, в других случаях При этом, статистических данных по публикационной активности организации и её сотрудников в научных журналах недостаточно для окончательного формиро- вания матрицы актуальности цитирований публикаций. В параграфе 2.2. «Метод повышения публикационной активности организа- ции в рамках научных конференций» впервые предложена методика для расчёта интегрального показателя научных конференций и приведены примеры расчетов их рейтингов с учетом перекрестных цитирований. Расчет данного показателя для кон- ференций ранее не производился. Предложен алгоритм повышения публикационной активности организации в рамках научных конференций, разработано описание ме- тодики расчета интегрального показателя научной конференции в информационной системе, созданной для исследования методов повышения наукометрических пока- зателей организации. Завершающим шагом в области повышения публикационной активности организации в рамках научных конференций национального и между- народного уровня должно быть расширение международного сотрудничества в данной сфере деятельности. Сформирована матрица актуальности цитирований публикаций. В параграфе 2.3. «Метод повышения позиции организации в национальных и международных рейтинговых системах и системах мониторинга по показателю публикационной активности» представлены типы рейтингов университетов, оценка позиции организации в рейтинговых системах. Предложены основные ва- рианты продвижения результатов научных исследований и их применение для различных категорий авторов научных исследований, с учетом гарантированной защиты от недобросовестных практик, существующих в современной научно- публикационной среде. В параграфе 2.4. «Разработка процедурной модели повышения публикацион- ной активности организации» совокупность рассмотренных выше методов объ- единена в процедурную модель повышения публикационной активности органи- зации на основе наукометрических инструментов. Данная модель начала разраба- тываться и одновременно внедряться в Московском техническом университете связи и информатики (МТУСИ) в 2014 г. За прошедший период (2014–2019 гг.) благодаря ее применению в МТУСИ удалось повысить основные наукометрические показате- ли университета в несколько раз (рис. 1, 2), значительно улучшить качественный уровень публикаций сотрудников университета и оформление пристатейных спи- сков литературы. Рисунок 1. Количество публикацийРисунок 2. Количество опубликованных сотрудников МТУСИ, индексируемыхсотрудниками МТУСИ материалов в МНБДконференций Расчёт критериев и объяснение выбора раз- делов подробно рас- смотрены в диссерта- ции, в том числе в рам- ках первого этапа – в процессеповышения базовых показателей до необходимогоуровня проводится значитель- ная работа в области публикационной актив- Рисунок 3 – Процесс формирования базовых показателейности ВУЗовских жур- в области публикационной активности ВУЗовскихналов, конференций и журналов, конференций и авторовавторов (рис. 3). В параграфе 2.5. «Результаты применения процедурной модели повышения публикационной активности научной организации» приведена актуальная стати- стическая информация, собранная на основе отчетов о международных исследова- ниях Института научной информации (ISI), наглядно отражающая происходящие в мире процессы в области публикационной активности научных организаций, и рост публикационной активности организации, в которой внедрена и активно применяет- ся процедурная модель, рассматриваемая в данном диссертационном исследовании. Это свидетельствуют о значительной роли данных об исследованиях в решении проблем управленческого характера, возникающих в процессе оценки ситуации и разработки политики проведения исследований, а также в ускорении развития миро- вой научно-исследовательской базы. За истекший период в МТУСИ разработана организационная структура, объединяющая основные варианты продвижения ре- зультатов научных исследований. Результат деятельности данной структуры – по- следовательный рост квалификации различных категорий авторов, что подтвер- ждается статистическими данными (рис. 4), в которых отражен значительный рост числа публикаций сотрудников университета в журналах, индексируемых в базах данных Web of Science и Scopus. ПубликацииПубликацииПубликацииПубликации в журналахв сборниках трудовв журналахв сборниках трудов а)б) Рисунок 4 – Нормированные данные по видам публикаций, индексируемых в 2014–2020 гг.: а – WoS; б – Scopus Решена проблема управления информационными потоками научной организа- ции, значительно улучшен качественный уровень публикаций. Ежегодно повышает- ся персентиль журналов, в которых публикуются сотрудники университета, а также уровень и статус организуемых международных конференций. Значительно выросло число публикаций в рецензируемых сборниках трудов международных конферен- ций, что позволило сохранить достигнутые позиции в период пандемии 2020 года. При этом следует учесть, что в 2020 году в базе данных Web of Science практически не индексировались материалы по итогам международных конференций, кроме на- учных статей медицинской направленности, а база данных Scopus продолжила ин- дексацию в прежнем объеме. В заключении подведены итоги исследования, обобщены его результаты, опре- делены перспективы. В ходе исследования автор приходит к следующим выводам: 1. В мировой науке количество научных публикаций ученого и ссылок на них яв- ляются сегодня основным мерилом его признания, показателем его продуктивности. Разработана обобщающая классификация библиометрических показателей, предла- гаемых в качестве инструментария для анализа публикационной активности отдель- ных лиц, исследовательских групп и научных организаций в зависимости от качест- венного уровня исследования и влияния публикации на исследовательскую деятель- ность ученых по количеству полученных ссылок. 2. Библиометрия и наукометрия используются в научной политике и управлении финансированием науки, в национальных программах развития науки и националь- ных системах оценки результатов научных исследований, при составлении между- народных и национальных рейтингов вузов. При этом: – обосновано, что при рассмотрении общих сведений о наукометрии, примене- нии ее методов при оценке научных исследований и принципов использования биб- лиометрических показателей для анализа научной деятельности особое внимание следует уделять ранжированию авторов, исследовательских групп, учреждений (рейтинги университетов) и журналов, так как эти данные являются, в некоторых случаях, конечной целью библиометрических исследований; – выделены основные международные нормативные документы в области над- лежащего использования инструментов библиометрического анализа. – в рамках рассмотрения вопроса об интеграции научных кадров организации в международную систему НК, сформулирована роль публикационной активности организации в данной системе. Предложен вариант взаимодействия научного от- дела по публикационной активности ВУЗа с молодыми учеными и научными со- трудниками на различных этапах развития их публикационной активности. 3. Разработанное математическое описание для расчета интегрального показа- теля научного журнала в рейтинге Science Index, применимо для всех тематиче- ских направлений. Найденный относительный выигрыш при оптимальном числе цитирований:H1 *(2  y)3 где у  0,01* 10000 3*n*H1 , доказывает достаточную Gопт  1, 10000 H1 *(1  y)2 n объективность методики РИНЦ и ее устойчивость к попыткам искусственного увеличения показателей для высокорейтинговых журналов. 4. Предложенная методика для расчета интегрального показателя научных конференций: SI  S 3  H / 10000 * N * max  k 2 , аналогичная применяемой для научных i di i 1 журналов, и методы повышения публикационной активности в рамках научных конференций эффективны для повышения основных публикационных показателей научной организации. 5. Предложенный метод повышения оценки состояния организации в рейтин- говой шкале по показателю публикационной активности с использованием разра- ботанного алгоритма формирования «матрицы актуальности цитирования публи- каций» может быть спроецирован на различные вузы и научно-исследовательские институты. Набор параметров, который включает основные публикационные по- казатели организации, может быть расширен в зависимости от изменения области применения или по результатам анализа и выявления взаимосвязей в информаци- онных потоках. 6. Статистические данные, по итогам семилетнего опыта применения разработан- ной процедурной модели повышения публикационной активности научной организа- ции показали, что она обеспечивает последовательный рост квалификации различных категорий авторов научных исследований с одновременным повышением количест- венного и качественного уровня публикаций и интеграцией ученых в систему науч- ных коммуникаций и международные базы цитирования. Увеличение числа цити- руемости автора из рассматриваемой организации ведет не только к росту его собст- венных наукометрических показателей (число цитирований, индекс Хирша), но и к росту показателей журнала, в котором он публикуется (импакт-фактор, средний ин- декс Хирша авторов), что в свою очередь повышает средний импакт-фактор журна- лов, в которых были опубликованы статьи данного автора. В совокупности этот комплекс мер влияет на показатели организации в целом (число цитирований, h- и i- индексы, средний импакт-фактор журналов, в которых были опубликованы статьи сотрудников). Предложен результативный и перспективный инструмент, основанный на фун- даментальных выводах. Цель диссертационного исследования достигнута. В нем предложена объективная комплексная система оценивания результатов научной деятельности отдельных ученых и организаций. Можно предположить, что возмож- ность кардинального изменения ситуации с данными оценками появится с внедре- нием искусственного интеллекта, который сможет обрабатывать значительно боль- шие объемы информации, чем доступно сегодня. Однако, есть все основания пола- гать, что искусственный интеллект может быть создан приблизительно на горизонте в 20 лет. Таким образом, данная работа не потеряет свою актуальность в течении отмеченного срока.