Рассуждая о расчетах. Стоит ли тревожиться по поводу КБПР?

04.04.2020

Пока в научном сообществе продолжаются дебаты по поводу разработанной Министерством науки и высшего образования методики расчета комплексного балла пуб­ликационной результативности (КБПР) научных организаций в рамках госзадания, наукометрис­ты времени не теряют.

Специалисты Научной электронной библиотеки eLIBRARY.RU обновили показатели научных организаций за 2019 год, а заодно рассчитали значения КБПР за 2010-2019 годы в соответствии с текущей версией методики. О том, зачем это сделано и какие выводы напрашиваются, исходя из полученных данных, «Поиск» расспросил генерального директора eLIBRARY.RU Геннадия ЕРЕМЕНКО.

Мы преследовали несколько целей,

— объяснил Г.Еременко.

Во-первых, хотели сделать так, чтобы все интересующиеся имели возможность проанализировать, насколько адекватными получаются рассчитанные по новой методике результаты. Для этого можно сравнивать, например, разные организации в разных референтных группах или динамику изменения показателей по годам, разным научным направлениям и т. д. То есть прежде всего преследовалась аналитическая цель, которая в любом случае полезна. Во-вторых, мы хотели показать, что можно избавить научные организации от рутинной и затратной по времени работы, связанной со сбором необходимой для расчета КБПР информации.

Эта процедура очень непростая, и организации, особенно те, у которых много публикаций, большой штат сотрудников, неизбежно столкнутся с ощутимыми сложностями. Но зачем? Вся эта информация уже имеется в базах данных, причем выверенная, достаточно хорошего качества, и ее можно использовать для мониторинга без дополнительной нагрузки для организаций.

Сейчас предполагается, что организации сами должны рассчитывать этот коэффициент?

Они должны заполнять таблицы, каждая строчка которой — даже не статья, а отдельный автор статьи, а потом на основании этих данных рассчитывать значение КБПР по общей формуле.

А у вас все данные есть, и расчет происходит автоматически?

Да, по данным РИНЦ (Российский индекс научного цитирования) это рассчитывается элементарно, поскольку практически вся необходимая информация там есть. Конечно, в какой-то публикации организация может быть не идентифицирована или какая-то публикация может отсутствовать. Но статистически эти ошибки невелики и достаточно равномерно распределены, так что на общую картину существенного влияния не оказывают. Более того, к моменту проведения мониторинга научных организаций, подведомственных Минобрнауки, можно делать дополнительную выверку по институтам и вузам. То есть к этому моменту можно добиться гарантий качества имеющейся информации (в том числе в РИНЦ) и быть уверенными в том, что расчеты будут вполне адекватными.

На сайте eLIBRARY.RU сказано, что при расчете КБПР вы учитывали информацию за пять лет, то есть за 2015-2019 годы.

Мы даже за десять лет рассчитали. Просто основная часть показателей — за пятилетний период: это оптимальный массив для статистического сравнения организаций.

При этом КБПР должен рассчитываться за один год.

Действительно, для расчета комплексного балла публикационной результативности по новой методике учитываются данные только за один год — за 2018-й. Поэтому, хотя мы рассчитали его за все годы, в сравнении организаций оставили только за 2018 год, чтобы можно было посмотреть его значение на реальных данных.

Эти результаты, видимо, должны были вызывать очень большой интерес у научных организаций и университетов. Известно ли, как они реагируют?

Мы опубликовали данные по расчету КБПР не так давно — неделю назад. Пока особого обсуждения не наблюдается. Нужно время, чтобы эту информацию переварить. Да и сейчас научным организациям, скорее всего, не до этого. Кроме того, методика еще окончательно не утверждена, что-то в ней может поменяться, и тогда полученные результаты придется пересчитать. Но, на мой взгляд, здесь интересно даже не столько сравнение организаций, сколько динамика публикационной активности по отдельным организациям. В методике, как мы знаем, ставятся определенные задачи в плане роста публикационного потока. И оценить, каков реальный рост по годам на основе предыдущего массива, было бы очень полезно, в том числе и для прогнозирования. Если открыть раздел анализа публикационной активности организации, то там представлены как общие показатели, так и тематические, с разбивкой по годам.

И все же первой бросается в глазе таблица расчета КБПР за 2018 год для всех организаций. Из нее следует, что с очень большим отрывом лидирует МГУ им. М.В.Ломоносова. Значение КБПР (14064.68) у него кратно превышает аналогичные показатели других организаций. Ближе всех к МГУ стоит СПбГУ (7338.34), а потом отставание идет в четыре и более раз. О чем это говорит? Это связано, например, с числом сотрудников, количеством научных направлений? И раз уж КБПР связан с госзаданием, то означает ли это, что оно у МГУ должно быть самым внушительным?

Рассчитанный показатель суммирует баллы по всем публикациям организации. Поэтому, конечно, он зависит от количества сотрудников и их продуктивности. Безусловно, если мы хотим оценивать качество публикаций, то КБПР надо нормировать на количество научных сотрудников. Если нас интересует общий публикационный поток научной организации, к которому и должно быть, наверное, привязано финансирование, то это интегральный показатель, по всем сотрудникам. Поэтому МГУ вопросов не вызывает — это крупнейший университет с большим штатом, тут все логично.

Из приведенной таблицы также следует, что от больших вузов значительно отстают даже самые авторитетные научные институты. То есть они получат заведомо более скромное госзадание?

Мне трудно сказать по поводу госзадания. Мы могли бы цифры пронормировать, но у нас нет точных данных о научных сотрудниках по всем российским организациям. Доверять статистическим данным, которые существуют, тоже не очень верно. Там подсчитаны сотрудники, работающие и на полставки, и просто «мертвые души». Мы знаем число уникальных авторов организации, которые за последние пять лет написали хотя бы одну статью (это означает, что они выдают научный результат), но есть сотрудники, которые только числятся и ничего не пишут, — про них нам ничего не известно. Поэтому нужно понять, как именно нормировать. Например, в вузах профессорско-преподавательский состав неоднородный. Нужно ли всех преподавателей учитывать (даже тех, кто не пишет статей), тоже не очень понятно. Это, скорее, вопрос научной политики, а не наукометрии. И адресовать его нужно в первую очередь Минобрнауки.

А вы со своей стороны планируете адресовать министерству какие-то предложения по этому поводу?

Мы в данном случае выполняем, скорее, техническую функцию. У нас есть информация, которая позволяет все эти показатели считать. А вопросы организации научной деятельности, ее стимулирования — это не к нам.

Если бы к вам обратились, вы бы могли что-нибудь посоветовать?

Конечно. Но к нам не обращаются. Практически ни разу не было, чтобы консультации проводились с нашим участием. Доходит до смешного: иногда придумывают какие-то показатели, которые в принципе рассчитать нереально или очень сложно. И, конечно, на наш взгляд, прежде чем их включать в какие-то нормативные документы, желательно этот вопрос обсуждать и синхронизировать с библиометрическими службами, потому что все равно потом организации обращаются к нам с просьбами все это рассчитать.

А вы понимаете, на основании чего возник этот КБПР, предложенный министерством? Кто формулу придумал?

Насколько я понимаю, эта история тянется еще из ФАНО. Там велись работы по таким расчетам. Логика, безусловно, в КБПР есть, как и во всяком библиометрическом показателе. Он, например, учитывает количество авторов. Чем больше соавторов у публикации, тем меньший балл засчитывается ученым или организациям. В этом есть свои плюсы, поскольку достаточно распространено такое явление, как приписное соавторство. И отчасти предложенная формула позволяет его нивелировать. Но, с другой стороны, в любой научной работе, даже если список авторов реальный, степень участия каждого далеко не равнозначна. Как правило, есть один человек, который выполнил 90% работы. А этого формула не учитывает, она делит все поровну.

Как устранить эту несправедливость?

Мы сейчас запускаем новый инструмент, в котором будет учитываться, какую роль сыграл в пуб­ликации конкретный автор. Есть международный классификатор ролей авторов, который эту информацию учитывает. Авторский коллектив при подаче статьи в редакцию может указывать «распределение ролей»: научное руководство, участие в эксперименте, теоретические исследования, расчеты и т. д. Есть даже роль по получению финансирования на работу.

И у какой же роли наибольший вес? Эксперимент, теория, добывание денег?

В процентах это подсчитать невозможно — получится уж слишком искусственно. Как вы оцените, к примеру, научное руководство? Возможно, научный руководитель дал такой совет, благодаря которому эта публикация вообще появилась.

КБПР, как мы знаем, учитывает и качество публикаций. В связи с этим русская полка журналов RSCI в Web of Science (WoS) наверняка станет еще более привлекательной для авторов. Что ждет этот индекс? Как он будет обновляться, изменятся ли требования к журналам?

Действительно, роль RSCI постепенно растет. Есть предложения замены перечня ВАК в определенных областях на эту базу. Поэтому качество экспертизы при принятии решения о включении или исключении журнала из RSCI должно расти. Определенные шаги в плане организации этой деятельности мы предпринимаем. Сейчас как раз заканчивается очередной этап, и скоро будет опубликовано решение рабочей группы. На этот раз экспертиза проводилась через специально разработанную нами для этой цели экспертную систему. Там уже не просто принимается решение, включить или не включить, а даются определенные оценки, учитывается, какой аспект качества журнала вызывает вопросы. То есть эксперты давали содержательные вердикты по каждому из рассматриваемых журналов. Здесь, я думаю, и дальше будет ужесточение. И значительного роста числа журналов в RSCI не предвидится.

Недавно вы провели сравнение публикаций российских ученых в базах данных WoS, Scopus и RSCI. К каким интересным выводам пришли?

Мы просчитали на реальных данных среднюю цитируемость пуб­ликаций российских ученых для различных категорий журналов. Методика расчета КБПР зависит от того, к какой базе данных или квартилю относится издание. Мы решили посмотреть: если взять весь массив публикаций российских ученых, то как реально соотносится их качество в различных базах данных. Получилось, что цифры достаточно сильно отличаются от предложенных в методике. В целом понятно, почему. Но факт есть факт: реальные данные немного другие. Так вот если точно так же брать категории журналов, как предложено в методике, то после исключения публикаций, попавших в 1-4 квартили WoS, оставшиеся публикации в RSCI по качеству оказываются примерно на одном уровне со Scopus и в полтора раза лучше, чем Emerging Sources Citation Index (ESCI), который относится к WoS Core Collection. При этом коэффициент в методике у RSCI ниже. То есть налицо некоторая дискриминация российских журналов в методике расчета КБПР, хотя по логике должно быть наоборот — нужно стимулировать приток качественных публикаций в российские журналы и выводить их на международный уровень.
Кроме того, мы пришли в выводу, что коэффициенты качества КБПР для первых трех квартилей WоS явно завышены. По-видимому, они считались на основе средних показателей в квартилях по всем пуб­ликациям WоS. Однако средний уровень российских публикаций в этих квартилях заметно ниже среднего по всем публикациям. С другой стороны, это может быть и вопрос научной политики, то есть таким образом министерство планирует стимулировать публикации в топовых международных научных журналах.

Четвертый квартиль WoS, ESCI и Scopus имеет одинаковые коэффициенты качества КБПР, тогда как в реальности российские публикации в журналах ESCI и Scopus, не входящих в WoS, примерно в 3-4 раза хуже по качеству, чем WoS Q4.

Что интересного вы увидели по ваковским журналам?

Там получается очень сильный провал. Если убрать из Перечня ВАК журналы, которые попали в международные базы данных и в RSCI, то остаются журналы довольно низкого качества, примерно в 25 раз хуже, чем четвертый квартиль WoS. Они не сильно отличаются от всех остальных журналов в РИНЦ. Конечно, здесь нужно принимать во внимание, что при наших расчетах учитывались только цитирования из ядра РИНЦ (то есть из журналов WoS, Scopus и RSCI). Если брать цитирования по всему РИНЦ, то показатели могут отличаться. Однако и доверия к ним меньше, поскольку далеко не все из журналов в РИНЦ действительно контролируют качество пуб­ликаций и списков литературы. Что касается ядра РИНЦ, то там все журналы проходят серьезную экспертизу, и какие-то махинации с цитированием гораздо менее вероятны.

Какая картина по монографиям?

Сейчас практически весь поток новых монографий российских издателей попадает в РИНЦ, так что информация для расчетов есть. Но как они будут учитываться в окончательной версии методики, пока не понятно. Этот вопрос вызвал большие споры в научном сообществе. Наше предложение заключается в том, чтобы включать лучшие монографии в ядро РИНЦ на основании экспертной оценки и учитывать их с повышенным коэффициентом. Аналогичная ситуация с патентами. Как-то учитывать их, наверное, нужно в некоторых научных направлениях. Опять же вся необходимая информация для этого есть — у нас налажено взаимодействие с ФИПС, и все российские патенты теперь попадают в РИНЦ и включаются в профили ученых и организаций.

Светлана БЕЛЯЕВА

1 комментарий

  • Остается вопрос о качестве БД, по которой делается расчет. Не все публикации попадают в РИНЦ. Есть вопрос и о «скорости» отражения в РИНЦ публикаций — она зависит от темпов работы редакций журналов и администраторов БД РИНЦ. Неоднократно сталкивалась с ситуацией, что мои показатели (и деньги) зависят от того, насколько быстро «сработают» третьи лица, на которых мы никак не можем влиять, — сотрудники редакций журналов и администраторы БД РИНЦ.