Больше — не лучше! Как оценить вклад ученого в науку.

Еще в 2006 году в “Вестнике РАН” я опубликовал статью об оценке значимости научных публикаций и высказал мнение о том, что любые библиометрические данные, в том числе цитируемость отдельных статей, не могут служить критерием эффективности исследований или ценности публикаций. Проблема корректного использования этих данных уже длительное время обсуждается во всем мире. Однако при несомненной ценности библиометрических инструментов как вспомогательного средства оценки они не могут заменить экспертных заключений, основанных на анализе содержания статьи, ее вклада в развитие конкретной области знания и вклада оцениваемого автора в материал, представленный в публикации.

Юджин Гарфилд, один из основателей библиометрии, однажды написал мне письмо, выражающее согласие с основными положениями статьи, и поместил ее на своем сайте. Я тогда разослал статью членам Отделения биологических наук РАН и получил многочисленные отзывы, поддерживающие ее основные положения.

Сегодня, когда как никогда раньше оценка ученых все в большей степени определяется уровнем престижности их публикаций, я считаю необходимым выступить с предостережением: эта политика пагубна для науки.

“Давление, вынуждающее ученых публиковаться, приводит к низкому качеству публикаций” — так названо эссе, опубликованное в одном из номеров Nature в 2016 году. Я считаю его весьма существенным. “Если больше — это хорошо, то тенденции в науке благоприятны. Число публикаций продолжает расти экспоненциально, уже к 2012 году оно приближалось к двум миллионам,” — говорится в публикации. Что более важно и идет, по мнению авторов, в разрез с общей мифологией, — большинство статей цитируется. Одна из вероятных причин роста ссылок — гигантские возможности поиска, которые теперь предоставляет Интернет. Казалось бы, это — хорошая новость.

Но что, если больше — это плохо? Физик и историк науки Дерек де Солла Прайс (Derek de Solla Price) еще в 1963 году изучил тенденции роста в исследовательской деятельности и увидел угрозу “научного конца света”. Число ученых и публикаций росло экспоненциально в течение 250 лет, и Прайс понял, что эта тенденция разрушительна. Он предсказал, что на протяжении жизни нескольких поколений она приведет к миру, в котором “будут два ученых на каждого мужчину, женщину, ребенка и собаку в популяции”. Качество не может поддерживаться на фоне такого роста. Ученый показал, что научные достижения обеспечиваются очень небольшим процентом исследователей и поэтому число ведущих деятелей науки будет расти гораздо медленнее, чем количество просто хороших, и это даст “еще большее преобладание исследователей, способных писать просто научные статьи, но не умеющих писать статьи выдающиеся”.

Продолжу цитирование эссе: “Нынешние траектории угрожают науке утонуть в шуме собственной растущей производительности, будущем. Чтобы избежать этой судьбы, потребуется более избирательная публикация. Таким образом, повышение качества может быть связано со снижением научной эффективности и производительности. Мы можем начать с меньшего числа публикаций”.

Поскольку меня интересуют фальсификации как следствие давления на ученых, я только мельком упомяну еще одно следствие: отсутствие времени для анализа качества, приводящее к катастрофическим результатам.

В статье “Принципиально низкая воспроизводимость молекулярно-генетических исследований рака”, вышедшей в одном из номеров журнала “Генетика” за 2016 год, мы с соавторами уже писали об одном парадоксе. В последние десять лет, прежде чем выбрать направление исследований, ученые в отделении гематологической онкологии биотехнологической фирмы Amgen в Калифорнии пытались подтвердить опубликованные научные результаты. 53 статьи, отобранные для анализа, были признаны “знаковыми” исследованиями. С самого начала ожидалось, что некоторые из данных могут не воспроизвестись, потому что были умышленно выбраны работы, описывающие что-то совершенно новое, например, передовые подходы в адресной терапии рака или альтернативные клинические применения существующих терапевтических агентов. Тем не менее научные данные были подтверждены только в 6-11% случаях. Даже принимая во внимание особенности доклинических исследований, это были шокирующие результаты.

Они индуцировали проект, нацеленный на проверку воспроизводимости результатов, опубликованных в статьях, описывающих новые открытия в исследованиях рака. Нужно сказать, что проект не вызывает энтузиазма у исследователей, которым предлагают добровольно представить свои результаты для проверки на воспроизводимость. Их можно понять: если результаты и воспроизведутся, то, скорее всего, только частично.

Присущая биологическим системам изменчивость означает, что не следует ожидать, что результаты будут обязательно точно воспроизведены в мельчайших подробностях. Тем не менее кажется логичным, что один или два основных вывода, которые возникают из научной работы, должны выдерживать проверку. Кроме того, эмпирические оценки доклинических исследований показали массу других проблем, в том числе то, что эксперименты не повторялись, что использовались некорректные контроли, что качество реагентов не тестировалось и что применялись неправильные статистические тесты. Кроме того, исследователи часто выбирают для публикации наилучший эксперимент, а не суммируют полный набор данных. Такая практика в целом и приводит к тому, что не только отдельные эксперименты не могут быть воспроизведены, но и главный вывод из статьи не подтверждается. Примечательно также, что несколько невоспроизводимых публикаций цитировались многие сотни раз. Но авторы вторичных публикаций не пытались воспроизвести или опровергнуть результаты оригинальных работ.

В 2016 году журнал Nature провел опрос 1500 ученых относительно невоспроизводимости результатов. Указывалась причина опроса: более 70% исследователей пытались и не смогли воспроизвести эксперименты, опубликованные другими исследователями. В связи с этим было задано несколько вопросов. Среди них —  существует ли кризис воспроизводимости (52% ответили: да, сильный, 38% — да, незначительный) и какие факторы играют роль в невоспроизводимости (публикация выборочных данных — более 60%, вынужденность публикации — более 60).

Среди многих причин невоспроизводимости последнее время все большее место, особенно в высокорейтинговых журналах, занимают фальсификации, которые при их обнаружении приводят к отзыву статей. Боюсь, что многие подложные результаты остаются необнаруженными ввиду сложности и дороговизны проверок.

Отзыв статей принял такие масштабы, что разрабатывается база данных Retraction Watch. Ежегодно публикуются 10 наиболее ярких ретракций. Публикация от декабря прошлого года начинается так: “Когда дело доходит до ретракций, у нас в Retraction Watch всегда есть что сказать. Особенно после того, как мы потратили большую часть 2017 года на создание базы данных ретракций, которая теперь занимает 16 000 записей, из них более 1000 — в 2017 году. Это увеличение по сравнению с 650 общих ретракций в 2016-м”.

Я приведу всего два примера из этой десятки: “Определенно стыдно” — так лауреат Нобелевской премии Джек Шостак из Гарвардского университета описал отзыв в декабре 2016 года своей статьи в Nature Chemistry. Авторы попросили провести ретракцию после того, как исследователь из лаборатории Шостака не смог воспроизвести результаты. Впрочем, Дж.Шостак был не единственным нобелевским лауреатом, с которым случилась такая история. В том же году по аналогичной причине журнал Science отказался от статьи Брюса Битлера, лауреата Нобелевской премии 2011 года по физиологии и медицине, опубликованной в 2014 году.

2016-й был неудачным и для Рони Сегера. Этот молекулярный биолог в Институте Вайцмана в Израиле потерял девять статей за один день, все они опубликованы в Journal of Biological Chemistry. Причина — подделка иллюстраций. Сегер, у которого 11 отзывов статей, находится под следствием в его учреждении, и ему запрещено руководство аспирантами — таков итог еще одной истории.

Исследователи говорят, что публикация в престижных журналах может помочь сделать карьеру. И в течение многих десятилетий наиболее популярными из них были Nature и Science — широко читаемые журналы, которые отвергают более 90% получаемых рукописей. Однако издательский мир быстро меняется, и ведущие издания сталкиваются с растущей конкуренцией. Движение за публикации с открытым доступом набирает обороты: с 2010 года появились более 5000 (!) научных журналов ОД. 

Некоторые сторонники движения открытого доступа атакуют Science и Nature, которые они назвали “гламурными журналами”. Они говорят, что престиж журналов является частью бизнес-модели, в которой “горячие” научные находки используются для оправдания высоких тарифов на подписку. Ведущие ученые опасаются, что слишком много внимания уделяется тому, где люди публикуют, а не тому, что именно они сделали и что публикации в Science, Nature и подобных журналах неоправданно сильно влияют на карьеру работающих ученых. “Это похоже на наркозависимость”, — отмечает Стивен Карри, профессор структурной биологии из Imperial College London, в своем блоге Reciprocal Space.

Некоторые ученые предпринимают активные шаги, чтобы подорвать влияние ведущих журналов. В декабре 2012 года сотни руководителей научных, финансирующих организаций, журналов собрались в Сан-Франциско, чтобы подписать Декларацию об оценке исследований (DORA), в которой критиковалась зависимость от воздействия импакт-фактора и которая обязывает подписавшие стороны оценивать исследования на основе их научных достоинств.

Более 9000 человек и 360 учреждений подписали DORA, которая рекомендует организациям “четко указать критерии, используемые для достижения решений о найме, постоянной должности в штате университета и продвижении по службе, особенно для начинающих исследователей, а также, что научное содержание статьи гораздо важнее, чем библиометрические показатели публикации или значимость журнала, в котором статьи были опубликованы”.

Я уверен, что большинство ученых, да и многие руководители науки все это понимают. Однако проще двигаться по пути формальных индикаторов, чем найти способы выработки объективных критериев оценки качества работ. 

Мне приходилось выполнять исследования, в частности, по созданию первого отечественного рекомбинантного интерферона, результаты которых очень редко публиковались, но сыграли существенную роль в отечественной медицине. Эта работа практически не цитируется, но я считаю ее одной из самых важных своих работ.

В моей лаборатории трудится группа талантливых молодых людей, которые создали генно-терапевтический противоопухолевый препарат и сейчас пробивают лбом стену, проводя его доклинические испытания. Это требует гигантских усилий, поскольку в мировой практике только один препарат такого рода получил разрешение на использование, и у разрешительных инстанций нет соответствующего опыта и выработанных критериев оценки. Конечно, такая работа не может иметь многих публикаций, как в свое время и работа по интерферону. Думаю, что в нашей стране таких примеров немало. На мой взгляд, критерии значимости работы должны учитывать многие факторы. Это поможет правильному, а не “пузыреподобному” развитию нашей науки.