07.02.2020
Лексикон ученых скоро обогатится очередной зубодробительной аббревиатурой — КБПР (комплексный балл публикационной результативности). Пока это буквосочетание еще непривычно слуху, но наверняка скоро войдет в обиход — ПРНД (показатель результативности научной деятельности) тоже не сразу научились выговаривать. В отличие от ПРНД, который применяется для оценки работы научных сотрудников, КБПР планируется использовать при планировании госзадания институтов. Скорее всего, однако, на его основании впоследствии будут формироваться и индивидуальные планы работников.
Итак, в середине января руководители подведомственных Министерству науки и высшего образования научных организаций получили от учредителя письмо «О корректировке государственного задания с учетом методики расчета комплексного балла публикационной результативности». Основанием для принятия методики было названо поручение Президента РФ №2558 от 29.12.2018 года, в одном из пунктов которого говорится о необходимости установления единых требований к порядку формирования и утверждения государственного задания на проведение исследований за счет средств федерального бюджета.
Основная цель методики сформулирована просто и ясно: «обеспечить повышение качества публикаций при сохранении темпов роста их количества». Добиться этого предполагается благодаря переходу от валового счета статей, трудов конференций, обзоров, монографий к так называемому фракционному — с разделением вклада в научный результат авторов и организаций и с учетом качества публикаций. Если у работы несколько авторов, баллы распределяются поровну между всеми, при этом доля каждого делится еще и на число его аффилиаций. Институты будут складывать в свои «копилки» доли сотрудников, вычисленные с учетом этих понижающих коэффициентов.
Работам, опубликованным в изданиях, которые индексируются в разных базах данных, присваивается разный «вес». Основной упор сделан на журналы Web of Science Core Collection. Для напечатанных в них статей коэффициент качества составляет 19,7 для изданий из первого квартиля — Q1, 7,3 — для второго, 2,7 — для третьего, 1 — для четвертого квартиля. Для «безквартильных» журналов, входящих в WoS CC, равно как и для проиндексированных в Scopus, а также для монографий (только зарегистрированных в Российской книжной палате) указанный коэффициент равен единице. Публикации, индексируемые в Russian Science Citation Index, оцениваются с коэффициентом 0,75. Самый низкий рейтинг — 0,5 — получили журналы из перечня ВАК.
На основе разработанной министерством шкалы вычисляется КБПР института за 2018 год, и после применения поправочных коэффициентов определяется план по этому показателю на 2020 год.
Учитываются доля госзадания в финансировании (его отделяют от грантов РФФИ и РНФ), а также изменение объема госзадания (прибавка средств должна привести к линейному росту числа баллов). Разумеется, вводится инфляционный коэффициент.
Но главное, по мнению разработчиков методики, организации обязаны постоянно увеличивать публикационную результативность. Какой из сценариев развития прописать институту, министерство определяет, сравнив его показатели с усредненной публикационной результативностью по данному научному направлению организаций первой категории. Для большинства институтов рост за два года должен составить 10%, но для лидеров план снижается до 6,7%, а для отстающих, которые в методике называются догоняющими, повышается до 30% (они должны постоянно сокращать дистанцию с «передовиками»). Так в общих чертах выглядит новая система.
Методика принята взамен прежней, которая был разослана по организациям в январе прошлого года. Многие помнят, что тот документ возник неожиданно и вызвал множество критических замечаний. Положения же нового, как подчеркнуто в письме, «неоднократно обсуждались с представителями ведущих научных и образовательных учреждений, РАН и Профсоюза работников РАН» в рамках заседаний сформированной Минобрнауки рабочей группы. Итоговый вариант одобрен этой рабочей группой и согласован с РАН.
В министерстве уже посчитали и разослали в институты КБПР по госзаданию 2020 года. Интересно, что хотя речь ведется о разработке единых требований к формированию госзадания, методика распространяется только на научные организации, для вузов правила пока не установлены.
Спущенные сверху цифры и сама методика вызвали неоднозначную реакцию научного сообщества. Некоторые ученые с ходу окрестили бумагу очередным порождением бюрократического безумия. Особое раздражение вызвали «навороченные» формулы и «возникающие из воздуха» коэффициенты.
Документ действительно довольно трудно воспринимается, не лишен недостатков и, по-видимому, нуждается в корректировке, написал на своей странице в Facebook вице-президент Российской академии наук Алексей Хохлов. При этом, по его словам, в методике учтены практически все требования, изложенные в постановлении Президиума РАН от 10 апреля 2019 года №56 «О принципах распределения бюджетных средств и установления нормативов публикационной активности для научных организаций».
На первом в этом году заседании Президиума РАН за раскритикованную коллегами методику вступился и глава академии Александр Сергеев. Он отметил, что активное участие в подготовке документа принимали, в частности, сотрудники Физического института им. П.Н.Лебедева. Фактически в основу документа положена система оценки публикационной активности с гибкими коэффициентами, которая в течение последних нескольких лет разрабатывалась, а потом тестировалась в ФИАН и очень хорошо себя показала, сообщил президент РАН.
Система эта была нам в академии презентована, она разумная, там все настраиваемо,
— подчеркнул А.Сергеев.
При этом он согласился, что некоторые моменты в методике стоит поменять, например, «коэффициенты «подергать», сделав так, чтобы всем было удобно».
Глава РАН напомнил, что финансирование науки сегодня жестко привязано к публикационным показателям. Многим ученым это не нравится, но если уж необходимо показывать «цифру», это должна быть честная «цифра», отметил он. Новая система, с точки зрения А.Сергеева, позволит точно установить, «где у нас наука и кто чем реально занимается», и лишит ряд университетов возможности «рисовать себе «звездочки» за чужой счет».
Кстати, проблемы, связанные с «захватом вузами интеллектуальной собственности академических организаций» путем оформления совместителями приходящих с институтскими наработками сотрудников НИИ, на этом же заседании обозначил академик Андрей Забродский.
Было решено подробно обсудить эти темы на ближайшем заседании Президиума РАН с участием разработчиков новой методики из министерства и ФИАН.
Надо отдать должное чиновникам Минобрнауки — они оперативно приступили к разъяснениям новых «правил игры». Буквально через пару недель после обнародования методики министерство провело на эту тему вебинар для представителей институтов. На их вопросы ответил заместитель Департамента стратегического развития, мониторинга и оценки Илья Тихомиров.
Одним из главных был вопрос о том, как отразится на финансировании организации недовыполнение установленного плана. КБПР — качественный показатель, поэтому к не достигшим установленных цифр институтам финансовые санкции применяться не будут, пообещал И.Тихомиров.
Многие помнят, что подобные слова говорились, когда началось деление институтов на категории по итогам оценки результативности. Сегодня, однако, с учетом категорийности распределяется дополнительное финансирование, и даже осуществляется допуск к конкурсам на участие в мероприятиях нацпроекта «Наука».
Интересовались участники вебинара и тем, как «перевести план по баллу в план по валу». Министерством разработан калькулятор, который позволяет рассчитать необходимое количество публикаций для достижения установленного КБПР. С его помощью можно перебрать разные варианты и выбрать оптимальную стратегию, сообщил представитель Минобрнауки. Калькулятор и видеоинструкция к нему выложены в информационной системе «Парус».
Целая группа вопросов касалась правил учета статей. Почему не принимаются к рассмотрению публикации в журналах РИНЦ, не входящих в список ВАК? По мнению чиновников, оценить качество таких публикаций очень сложно. В министерстве не согласны с тем, что это «вытолкнет российскую науку в зарубежье», как было сказано в одном из комментариев. По данным Минобрнауки, половина публикаций в российских журналах индексируется зарубежными базами. Кроме того, существуют большой пул ваковских журналов и российская полка WoS — RSCI.
Почему министерство ориентируется на Web of Science, а все статьи в изданиях, проиндексированных Scopus, ценятся на уровне четвертого квартиля WoS? Оказывается, разработчики системы просто пока не придумали, как соотносить квартили двух этих баз, и для начала решили опираться на WoS, где, по словам И.Тихомирова, присутствуют все сильные публикации из Scopus. Последний сейчас используется больше как «довесок» при расчетах. Более тонкий анализ этой базы данных — в ближайших планах.
О том, что методика будет дорабатываться, в ходе вебинара говорилось не раз. Так, уже в следующем году планируется искусственно повысить квартильность российских журналов, учитывая публикации в них по системе «Q минус один».
Обещано дополнительно подумать и о монографиях. Гуманитариев возмутила их низкая оценка (с коэффициентом единица) вне зависимости от качества. По данным министерства, в отчетах за 2018 год числятся около 30 тысяч записей про монографии. Провести «ручную» экспертизу такого массива не представляется возможным, а машинных методов верификации пока не придумано. Поэтому в министерстве сейчас прорабатывается идея о том, чтобы выделить более качественные монографии, опираясь на уровень издательств, в которых они опубликованы, и, возможно, на объемы и тиражи работ. Кроме того, изучается вопрос об учете монографий, изданных за рубежом и выпущенных в электронном виде.
Скорее всего, в перспективе к расчету будут принимать и патенты. Патентная активность научных институтов по сравнению с публикационной очень невелика, отметил И.Тихомиров, но министерство все же постарается ее учитывать.
Поступило много вопросов и по поводу аффилиаций. Почему иностранные авторы, не получающие средства из российского бюджета, «уводят» свои доли, а с ними и баллы у российских ученых? И.Тихомиров пояснил: если не учитывать всех авторов, может начаться неконтролируемый процесс включения в соавторы коллег из стран ближнего зарубежья или «перетекание аффилиаций» в организации, не подведомственные Минобрнауки.
В министерстве не опасаются того, что такой подход может привести к сокращению междисциплинарных исследований или международного сотрудничества. Статьи, написанные в рамках коллабораций с зарубежными учеными или сильными российскими коллективами, обычно публикуются в высокорейтинговых журналах, и применяемые для них повышающие коэффициенты с лихвой компенсируют «аффилиационные издержки», заявил И.Тихомиров.
В заключение он ответил на ряд технических вопросов. Один из них — по «переходящим» статьям, принятым в печать в конце года и не проиндексированным в отчетный период. Они могут использоваться для отчетов в следующем году, заверил представитель министерства. При этом работы двухлетней давности и старше в учет приниматься не будут.
Если организация считает, что КБПР ей вывели неправильно, она может попросить перепроверить результат. Но самостоятельный доступ ко всей базе данных по направлению, необходимой для пересчета, ей не предоставят, поскольку среди этих сведений много конфиденциальной информации. В министерство уже поступили около 70 таких обращений, и в трех случаях были обнаружены неточности, сообщил И.Тихомиров.
На некоторые вопросы четких ответов не последовало. Например, откуда взялись повышающие коэффициенты для журналов из разных квартилей WoS? Или почему публикационная активность организаций должна расти предписанными министерством темпами?
В общем, белых пятен осталось много, и интерес к данной теме наверняка будет только нарастать. Понятно, почему большую популярность приобрел гуляющий в последнее время по сетям постер: «Из всех наук для нас теперь важнейшей является библиометрия».
Надежда ВОЛЧКОВА
Как обычно, гора родила мышь. Публикация в высокорейтниговом журнале еще ни о чем не говорит. В этой оценке нет востребованности публикуемых материалов. Статья может быть опубликована, но ее никто не читает и не использует в дальнейших исследованиях, значит, это мертвая статья, несмотря на высокий рейтинг журналов.
Второй фактор, который абсолютно не учитывается чиновниками, это оплата публикации. Большинство журналов первого квартиля требует оплаты за публикацию. Ученые в центре, по горло в грантах РНФ, могут себе позволить такую публикацию, а на периферии, ученые с мизерными зарплатами, такого себе позволить не могут. Если требуете публикаций в таких журналах, давайте средства на эти публикации.
Третье замечание, это путь к уничтожению российских журналов. Русскоязычные журналы не могут тягаться в рейтинге с англоязычными. С другой стороны, люди будут стремиться публиковаться в журналах с высоким рейтингом. Как член редакционной коллегии журнала «Геомагнетизм и аэрономия», я совершенно отчетливо вижу эту угрозу. Вопрос, мы что, хотим перенести все наши публикации за рубеж? Ничего себе патриотизм.
И последний вопрос, он касается монографий. Одно дело, монография какого-нибудь колледжа, а другое — публикация монографии в издательстве Springer или IOP. Давать за такие монографии один балл, это издевательство, учитывая, сколько труда положено на ее написание. Бедный Фейнман, его лекции по физике дали бы всего 10 баллов за все 10 томов. Бедный Ландсберг или Шкловский, жить бы им, как церковным крысам при таких оценках их деятельности. Простой пример, моя монография, опубликованная в издательстве Spriger имеет индекс цитирования более 900 в Google Academyб ни вообще не попадает в WoS.
Так что дорогой Президиум, думайте глубже.
Удивительно, что эту методику породили серьезные ученые из ФИАНа. У этих людей, вероятно, есть практический опыт работы в науке. Заметим, что опыт научной работы и опыт работы в науке – не одно и то же.
Я слушал запись вебинара — бред полнейший! Люди говорят так, как будто они разработали мониторинговую методику для какого-то социологического проекта. Но это же не методика исследования! Это, мать его, инструмент целеполагания.
– Как интересно по мнению авторов планы КБПР должны транслироваться на уровень групп и лабораторий, где все эти статьи пишутся? Неужели физики не в курсе, что гладкость на макро-уровне легко сочетается с флюктуациями огромного размаха на микроуровне? Это при усреднении (может быть) коллаборации не пострадают потому, что «обычно» происходит так-то и сяк-то. А на уровне реальных исполнителей очень даже пострадают, так как группы работают по очень разным стратегиям.
– С какой стати уважаемые коллеги считают себя в праве навязывать иной смысл такого элемента статьи, как афиллиации? Почему вдруг они решили, что афиллиация – это указание на то место, где выполнялась работа? Вообще-то, этот инструмент создан для других целей. Например, сотрудник, преподающий в ВУЗе может поставить двойную афиллиацию не потому, что этот ВУЗ как-то финансировал его работу, а потому, что он значим для его профессионального успеха (статус, студенты, вдохновение наконец)? Это может быть просто данью уважения. Да, я в курсе про торговлю афиллиациями и прочие злоупотребления, но они возникают именно как следствие неадекватной интерпретации данных.
— Как ученым с серьезным опытом работы могло прийти в голову, что число или качество публикаций линейно зависит от финансирования? И, тем более, от финансирования текущего года? Они что, не в курсе сколько времени готовиться публикация и длиться редакционный процесс? Я уже не говорю о собственно исследованиях.
Предлагаемая методика – это грубая халтура, не смотря на то, что она настраиваемая и хорошо себя показала в анализе каких-то модельных баз данных. Если бы анализ КБПР производился из «педагогической засады» — тихонько, не оповещая институты, для того, чтобы оценить эффективность принятых мер в масштабе страны, то я бы не критиковал эту методику. Она действительно довольно разумна и настраиваема. Но как инструмент формирования задач она просто неадекватна и вредна.
не парьтесь. все равно российская наука давно сдохла.
Значит, если я должен публиковаться в т.н. «высокорейтинговых» журналах, то программу моей работы будет определять некий забугорный рецензент, причем анонимный? Или тамошний редактор, т.е. в лучшем случае бывший ученый?
А температуру авторам таких методик кто-нибудь мерял? Уверяю, полезный совет!
Во-первых, подобные публикационные этюды вызывают утечку научных результатов за рубеж по принципу «Колумб-папуасы»: вы в их журналы выкладывайте новейшие идеи, а взамен — получите балл! Что такое балл? Как балл ускорит отечественную науку, промышленность и экономику?..
Во-вторых, оказывается, наше государство на такое разбазаривание научных результатов будет тратить бюджетные деньги! То есть оплачиваться в виде бюджета института будет не внедрение мировых научных разработок у нас, в нашей экономике, а БЕСПЛАТНАЯ (если вообще не оплаченная как «престижная» публикация) передача полученных у нас результатов в свободный доступ для экономик других стран. Товарищ Сталин, да тут есть работа для Ваших органов!..
приоритет бухгалтера над учёным