Большинство людей позитивно реагируют на комплименты, но чрезмерная похвала от льстивых чат-ботов может иметь обратный эффект. Исследователи из Стэнфордского университета и Университета Карнеги — Меллона установили, что искусственно «угождающие» чат-боты могут негативно влиять на способность здраво оценивать ситуацию и принимать решения.
Современные ИИ-чат-боты стали важной частью жизни многих, и некоторые даже ищут в них личную поддержку и советы. Исследователи проанализировали 11 современных моделей машинного обучения, среди которых были продвинутые системы, такие как OpenAI GPT-4o и Google Gemini-1.5-Flash, и выявили, что они чаще заискивают перед пользователями, чем это делали бы люди. Подхалимские ИИ одобряли действия пользователя на 50% чаще, чем люди в аналогичных ситуациях, включая те случаи, когда в запросах пользователей упоминался обман или другое сомнительное поведение.
Для понимания распространенности лести в ИИ и её воздействия на людей, ученые изначально определили частоту одобрительных ответов моделей. Они проанализировали ответы ИИ на различные запросы, включая общие вопросы и ситуации реальных конфликтов, сравнивая их с ответами людей для установления базового уровня «нормального» согласия.
Затем были проведены два контролируемых исследования с участием 1604 человек, случайным образом распределенных в группы, взаимодействующие с «подхалимским» и «неподхалимским» ИИ. Первая группа получала чрезмерно приятные советы и подтверждающие ответы, а вторая - более сбалансированные рекомендации.
Как указано в статье, опубликованной на сервере препринтов arXiv, пользователи, подвергшиеся воздействию льстивого ИИ, становились более уверенными в своей правоте и менее склонными к урегулированию конфликтов, у них снижался уровень критического мышления.
Они больше доверяли ИИ, когда он соглашался с ними, и даже характеризовали такие системы ИИ как «объективные» и «справедливые». Подобное социальное подхалимство, когда ИИ оценивает самооценку и действия пользователя, создает потенциально опасную цифровую эхо-камеру, где человек сталкивается исключительно с информацией и мнениями, отражающими и подкрепляющими его собственные.
«Результаты показывают, что социальное подхалимство широко распространено среди ведущих моделей ИИ, и даже короткое взаимодействие с такими моделями может формировать поведение пользователей, снижая готовность к разрешению конфликтов и одновременно усиливая убежденность в собственной правоте», — отмечают исследователи.
Авторы исследования предлагают разработчикам изменить правила создания ИИ, ввести меры против лести и поощрять объективность. Также подчеркивается необходимость большей прозрачности систем ИИ, чтобы пользователи могли распознавать излишнюю уступчивость.
Изображение: techxplore.com
