Что отражает зеркало?

В ответ на опубликованное в “Поиске” толкование составленных ФАНО индикативных рейтингов публикационной активности институтов хочу изложить свое видение этого вопроса. Напомню, публикационные показатели представлены в девяти колонках таблицы, причем каждый столбец дает свой вариант ранжирования институтов. В качестве основного критерия выступает число статей, индексируемых в базе данных Web of Science (WoS) — как суммарно для института, так и в расчете на одного исследователя. 

На мой взгляд, такой способ оценки выглядит неубедительно. Необходимо отдавать себе отчет в том, что научные журналы, включенные в WoS, вовсе не равноценны. Например, российские “Доклады Академии наук” не эквивалентны американским Proceedings of the National Academy of Sciences. Это подтверждают импакт-факторы журналов: у российского он равняется 0,3-0,4, а у американского — около 10. Поэтому для адекватной оценки сравнительной эффективности научных институтов должен быть учтен рейтинг журнала, где опубликована статья. Для этого надо брать в расчет не просто количество статей, а сумму импакт-факторов журналов в WoS, а еще лучше — в Scopus. Эта база принимает в расчет все ссылки, а не только за два года, как WoS, поэтому она более совершенна. 

При этом желательно учитывать вклад авторов данного института в публикацию. Сделать это не сложно, взяв за основу очередность институтов в размещенном под статьей списке. Если оцениваемый институт единственный или находится на первом месте списка, то он получает полные баллы. Если институт расположен на втором месте — 0,75 от полной оценки, а если на третьем и ниже — 0,5. Такая коррекция оценки должна быть сделана как для самой статьи, так и для цитирований на нее. 

Вызывает удивление, что авторы разработки ограничились представлением данных в расчете на одного исследователя. Допустим, в одном институте сотрудник пишет в среднем одну статью в год, а в другом сходного профиля — две статьи. Вопрос: какой институт эффективнее? Если исходить из логики составителей таблицы — безусловно, второй. А если иметь в виду интересы государства, налогоплательщиков, да и просто руководствоваться здравым смыслом, то надо сначала выяснить, в какую сумму обходится одна усредненная статья в каждом из институтов. Если, например, первый институт тратит на одну статью 100 тысяч рублей в год, а второй на аналогичную публикацию — миллион рублей, эффективность первого института в разы выше, несмотря на меньшее количество публикаций. Поэтому надо делить достижения института (общий импакт-фактор статей и общее число цитирований) не на число сотрудников, а на сумму израсходованных институтом денежных средств. 

Собрать сведения в бухгалтериях о годовых бюджетах институтов не составляет труда. Может, правда, возникнуть вопрос, брать ли в расчет только бюджетные средства, или приплюсовать к ним внебюджетные (средства грантов, хоздоговоров и другие). В каждом из этих вариантов есть свои плюсы и минусы, поэтому их стоит использовать в комплексе. 

Таким образом, в результате предлагаемых преобразований оценка эффективности институтов станет более точной и простой. Вместо нынешних девяти колонок останутся две: первая — количество научного знания (в единицах импакт-факторов) и вторая — число цитирований, все — в расчете на затраченный рубль. Те институты, у которых эти показатели будут наибольшими, являются лидерами в своей референтной группе. Для наглядности можно использовать обратные величины, а именно стоимость (в рублях) единицы импакт-фактора и одной полученной ссылки. В этом случае, наоборот, в лидеры выйдут институты с наименьшими показателями. Важно понимать, что сравнивать по этим показателям можно только институты близкого профиля, со сходной экспериментальной базой. 

Дополнительно хотелось бы предложить ФАНО по возможности оградить институты от технической работы по сбору сведений для ранжирования, ведь агентство было создано, как сообщалось, для того, чтобы ученые занимались наукой и не отвлекались на посторонние дела. Все сведения о цитируемости институтов мог бы легко собрать любой сотрудник ФАНО или Минобрнауки, способный работать в Интернете. 

Аналогичные сведения по цитированию, кстати, регулярно обновляются на общедоступном сайте scientific.ru, созданном много лет назад по инициативе самих исследователей. 

Согласен с Георгием Романовым в том, что при оценке качества работы института необходимо учитывать разные факторы. Добавлю только — ни один из них не стоит абсолютизировать. 

Собственно, на этом подходе основан утвержденный приказом Министерства образования и науки РФ порядок предоставления научными организациями сведений о результатах своей деятельности в целях мониторинга и оценки. В список входят 25 показателей. Учредитель научных организаций (в данном случае ФАНО) должен для всех референтных групп специальностей разработать на основе методических документов свою внутреннюю систему оценки с использованием наиболее подходящих в каждом случае параметров. 

В число 25 утвержденных показателей результативности входит совокупный импакт-фактор журналов, где опубликованы статьи сотрудников организации, о необходимости учета которого пишет Г.Романов. Есть соответствующий раздел и в обсуждаемых нами таблицах индикативных рейтингов академических институтов, опубликованных ФАНО. 

Таким образом, величины, которые характеризуют средние рейтинги публикаций каждого института, подсчитаны, но как их учитывать при оценке — это отдельный вопрос. Существует мнение, что приписывать статье определенный “вес” в соответствии с импакт-фактором журнала, в котором она напечатана, не всегда правильно. Выбор, повторюсь, будет делать ведомственная комиссия по оценке институтов для каждой референтной группы. 

В любом случае учет импакт-фактора — это операция следующего уровня сложности, она может быть проведена после того, как подсчитано число статей. Нельзя сделать второй шаг, не сделав первый. Это же утверждение относится и ко второму предложению Г.Романова — учитывать вклад в публикацию конкретных авторов. 

В МГУ при вычислении персональных рейтингов сотрудников так делается. При этом способ учета вклада различен для разных областей науки и специальностей. Одни факультеты при вычислении доли ученого в данной статье делят публикацию на число соавторов, а другие — на корень из этого числа. 

В принципе можно приводить публикационные параметры и к величинам финансирования, как предлагает Г.Романов. В новом мировом рейтинге университетов, который сейчас обсуждается, такой показатель, возможно, будет введен. Однако у этого подхода немало критиков. Понятно, что исследования, связанные с экспериментами, значительно более затратны, чем теоретические изыскания. Значит ли это, что, действуя “в интересах государства и налогоплательщиков”, надо закрыть все экспериментальные работы? 

В принципе, мне кажется полезным при оценке институтов учитывать финансовые показатели. Но не стоит связывать деньги с количеством опубликованных статей. 

Вряд ли нужно учитывать базовое финансирование, которое зависит от исторически сложившейся численности организации. Значительно более информативный показатель — сумма средств, заработанных по грантам и договорам. Она характеризует активность сотрудников и значимость проводимых ими исследований.

Что касается порядка сбора сведений для ранжирования, то, насколько мне известно, институты этим специально не занимались. Исходные данные были взяты ФАНО в Федеральной системе мониторинга результативности деятельности научных организаций (sciencemon.ru). Однако некоторые приведенные там цифры явно не соответствовали действительности. У ряда институтов было по сотне статей в год на сотрудника. Чтобы получить корректные цифры, федеральному агентству пришлось уточнять информацию, возможно, путем дополнительных запросов к представившим некорректные данные организациям. 

Составленные ФАНО таблицы, как я говорил в интервью, всего лишь зеркало, поставленное перед институтами. Как им воспользоваться — дело каждого. Можно устранить отразившиеся в зеркале недостатки, а можно его разбить, чтобы не портить себе настроение.