Искусственный интеллект, несомненно, может помочь ученым в написании научных статей, обобщая результаты исследований и улучшая качество текста. Однако, как показало новое исследование, одним из недостатков является то, что он привел к появлению множества плохо написанных работ и рецензий.
Авторы обнародовали результаты своих наблюдений: «Языковые модели на основе искусственного интеллекта в сочетании с жесткими стимулами к публикации результатов исследований приводят к появлению большого количества научных работ, имеющих низкое качество».
Исследование было опубликовано в Organization Science: этот ведущий журнал в области социальных наук принимает статьи от авторов из крупных университетов, учреждений, для которых английский язык не является родным, и исследовательских групп со всего мира. Обеспокоенная влиянием ИИ на качество представляемых работ, рабочая группа, состоящая из редакторов, провела масштабный анализ его содержания.
Команда проанализировала почти 7000 заявок и более 10 000 отзывов за период с 2021 по 2026 годы. Исследование началось в 2021 году, за два года до запуска ChatGPT, чтобы иметь возможность легко сравнить качество текстов до и после появления ИИ.
Чтобы выявить влияние ИИ, исследователи использовали инструмент обнаружения ИИ Pangram, который идентифицирует характерные следы в тексте. Каждой статье присваивался балл от 0 (полностью написанный человеком) до 1 (полностью созданный искусственным интеллектом). Помимо анализа опубликованных работ, в исследовании также рассматривались все представленные черновики и частные рецензии, написанные другими учеными. Рабочая группа также оценивала качество текста с помощью стандартных тестов, проверяющих читабельность и стиль.
Исследование показало, что с появлением ChatGPT объем отправленных статей вырос на 42%, и большая часть этого, по-видимому, является прямым результатом использования ИИ. К началу 2026 года большинство рукописей в той или иной степени использовали ИИ. Однако качество написания, измеряемое индексом читабельности Флеша, снизилось, и статьи стало сложнее читать.
В статье выделены две конкретные группы исследователей, наиболее склонных использовать ИИ для написания своих работ. Это исследовательские группы из учреждений, где английский язык не является родным, и новички в этой области, имеющие небольшой опыт публикации в научных журналах. Однако использование ИИ было связано с более высокими показателями отказов.
Даже некоторые ведущие бизнес-школы не избежали использования ИИ в своих целях. В частности, среди ученых из учреждений, испытывающих сильное давление в плане публикаций, наблюдался более значительный рост числа заявок, поданных с помощью ИИ.
Но к искусственному интеллекту обращались не только авторы. Более 30% экспертных обзоров, представленных в журнал, также использовали языковые модели, что является резким увеличением по сравнению с периодом до появления ChatGPT.
Рабочая группа отметила, что подобные рецензии часто более узкие и менее содержательные, чем те, которые пишут люди. Это создает дополнительное давление на редакторов, поскольку им приходится тратить время на отсеивание некачественных работ.
«Искусственный интеллект создает нагрузку на систему рецензирования, и эта нагрузка не показывает признаков снижения», — пишут авторы.
Для улучшения системы журнал предлагает пересмотреть критерии оценки научных исследований. Основное внимание следует уделять не количеству опубликованных статей, а качеству изложенных идей.
Изображение: фрипик
