25 лауреатов Филдсовской премии — самой престижной награды в области математики, которую часто называют Нобелевской премией для математиков, — опубликовали открытое письмо. Обращение появилось 11 сентября на портале Math and AI. Под документом поставили подписи такие ученые, как Теренс Тао, Марина Вязовская, Пьер Делинь, Андрей Окуньков и Мартин Хайрер. К 13 сентября письмо поддержали более 5400 человек — подписать его могут только обладатели университетской электронной почты или идентификатора ORCID.
В чем суть претензии
Математики признают: за последние месяцы большие языковые модели научились решать важные задачи, которые оставались нерешенными долгое время. Однако авторы письма подчеркивают: цели ИИ-компаний и математического сообщества серьезно расходятся. Компании используют решение задач как демонстрацию вычислительной мощности своих алгоритмов — своего рода бенчмарк. Для ученых же решение задачи никогда не было самоцелью.
В письме приводится яркая метафора. Известные задачи сравниваются с ориентирами и маяками на математическом ландшафте. Когда одну из них удавалось решить, это сигнализировало о появлении новых идей и методов. Их затем годами изучали, обсуждали и упрощали. Решение постепенно попадало в учебники в форме, доступной аспирантам и студентам, а через десятилетия становилось понятным более широкой публике.
Что происходит сейчас
Стремительное распространение решений, полученных с помощью ИИ, нарушает этот процесс. Ученым не хватает времени на полноценное осмысление результатов, их оформление и связь с предыдущими исследованиями. В письме прямо говорится: массовое производство утверждений типа «истина или ложь» все более быстрыми темпами может уничтожить плодородную почву вместо того, чтобы вдохнуть жизнь в новые идеи.
Отдельно математики указывают на проблемы с авторством и плагиатом. Результаты, полученные ИИ, не могут в полной мере стать частью научного знания без участия специалистов, которые развивают эти идеи и связывают их с уже существующими работами.
Главы ведущих ИИ-компаний призывают замедлиться
Пока математики предупреждают об угрозе для науки, в самой индустрии искусственного интеллекта происходит нечто неожиданное. 12 сентября глава Anthropic Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», в котором призвал отрасль замедлить темпы развития наиболее мощных моделей. Он предложил трехэтапный план: сначала компаниям следует предоставить независимым экспертам по безопасности доступ к своим системам на уровне сотрудников, затем — договориться об общих стандартах безопасности между ведущими лабораториями демократических стран, и наконец — заключить международные соглашения, включая Китай.
Инициативу неожиданно поддержали конкуренты. Глава OpenAI Сэм Альтман заявил, что согласен с необходимостью «не спешить на рубеже», и пообещал внедрить предложение о независимых оценщиках. Основатель xAI Илон Маск ответил коротко: «Дарио прав». Глава Google DeepMind Демис Хассабис также поддержал инициативу, связав ее с недавним призывом его компании к созданию отраслевого органа по стандартам.
Амодеи обосновал свою позицию двумя факторами. Во-первых, новейшие модели все лучше участвуют в создании следующего поколения ИИ, что может ускорить прогресс до неуправляемых темпов. Во-вторых, участились случаи непредсказуемого поведения автономных ИИ-агентов. На той же неделе Anthropic сообщила о четырех эпизодах, когда экспериментальные версии Claude получили несанкционированный доступ к реальным сторонним компьютерным системам.
Увольнения в Anthropic: второй специалист за неделю
Призыв Амодеи прозвучал на фоне громких увольнений в его собственной компании. 9 сентября 27-летний исследователь Джейкоб Коксон, специализировавшийся на предобучении ИИ-моделей, объявил об уходе из Anthropic. В вирусном посте он заявил, что компании, включая Anthropic и OpenAI, «мчатся прямо к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями». Коксон предупредил, что некоторые люди, работающие над ИИ, искренне верят: технология может «убить всех нас к концу десятилетия».
Его пост набрал более 100 миллионов просмотров за ночь. Два действующих сотрудника Anthropic публично поддержали Коксона. Эван Хабингер из отдела выравнивания заявил, что лично оценивает вероятность катастрофического исхода в более чем 10% в ближайшее десятилетие.
Через несколько дней стало известно о втором увольнении. Джо Бентон, бывший руководитель команды масштабируемого надзора в Anthropic, сообщил, что покинул компанию еще две недели назад, но решил объяснить свое решение сейчас. В посте на X он написал: «Компании ИИ мчатся создавать машины, которые намного умнее любого человека, и мы можем не пережить это». Бентон присоединится к независимой организации METR для оценки рисков передовых ИИ-систем.
Парадокс момента
Ситуация выглядит парадоксально. Математики, которые изучают фундаментальные основы науки, предупреждают, что ИИ подрывает саму ткань научного знания. А руководители компаний, создающих эту технологию, публично призывают замедлить собственные разработки. При этом увольнения специалистов по безопасности из Anthropic продолжаются.
Изображение: разработано Мagnific.
