ИИ, прочно вошедший в нашу жизнь, хоть и интеллект, но все же искусственный и порой имеющий серьезные погрешности. Случаев, когда сложные алгоритмы становились звеном в причинной цепочке проблем, в том числе и настоящих трагедий, накопилось уже немало. И сегодня мы расскажем о некоторых из них.
Статистика против ИИ
Компании самых разных отраслей ищут сегодня любую возможность, чтобы внедрить ИИ в самые разные сферы бизнеса: от риск-менеджмента до автоматизации рутинных процессов. Однако последнее исследование IBM показало, что технологии искусственного интеллекта зачастую не оправдывают ожиданий и потраченных средств. Итоги опроса 2000 бизнес-руководителей по всему миру показали: за минувшие три года лишь 25% инициатив в сфере искусственного интеллекта принесли ожидаемую отдачу от инвестиций. Вместе с тем согласно данным опроса руководители корпораций и далее намерены использовать генеративные модели, ибо иное в большом бизнесе сегодня уже «не комильфо».
Убедительную статистику, свидетельствующую о том, что надежды на генеративные модели далеко не всегда оправданы, приводят и исследователи Массачусетского технологического института (MIT): 95% пилотных ИИ-проектов заканчиваются провалом. Интересно, что успешные инициативы направлены вовсе не на прорывные инновации, а на банальную автоматизацию внутренних операций и анализ документов. Одной из причин неудач внедрения технологий эксперты MIT называют несоответствие ожиданий и реальных возможностей нейросетей, непонимание того, что ИИ — это не волшебная палочка, а инструмент, требующий тонкой настройки и виртуозного обращения.
Впрочем, данные недавнего исследования «Совкомбанк страхования» и «Всероссийского бизнес-центра» говорят о том, что в нашей стране бизнесмены не слишком-то доверяют ИИ: почти 70% опрошенных российских предпринимателей собираются застраховать свое дело от рисков, сопряженных с некорректным функционированием нейросетей, ведь в отличие от традиционного программного обеспечения ИИ обладает адаптивным поведением, непрозрачностью алгоритмов и высокой степенью автономности. В тройке наиболее вероятных проблем предприниматели называют утечку конфиденциальной информации, удар по деловой репутации и финансовые потери. Закономерными в этой связи выглядят результаты исследования рекрут-агентства hh.ru: спрос на специалистов по безопасности ИИ за последний год вырос в четыре раза — с 80 до 350 вакансий.
Несмотря на все эти нюансы, ИИ продолжает проникать в нашу жизнь. За последние 5 лет уже более 20 стран запустили госпрограммы поддержки развития и внедрения технологии. Так, в России запланированный объем инвестиций на эти цели до 2030 года составляет 145 млрд рублей, в том числе 33 млрд рублей из бюджета.
Важнейший аргумент в пользу внедрения технологий искусственного интеллекта — рост производительности. Так, аналитики компании Accenture предполагают, что к 2035 году ИИ повысит эффективность труда на 40%, что позволит людям рациональнее использовать рабочее время.
Тем временем скептики предупреждают о возможных последствиях такого процесса — от массовых увольнений до потери контроля над ИИ. И если о восстании машин говорить пока рано, то о том, что технологии делают нас заменимыми — самое время. Аналитики бьют тревогу: нейросеть готова занять ваши рабочие места. В частности, эксперт в области безопасности ИИ Роман Ямпольский считает, что через 5 лет из-за стремительного внедрения автоматизации до 99% сотрудников могут остаться без работы. Если его прогноз сбудется, то к 2030 году ИИ не только кардинально изменит социально-экономическую структуру общества, но и станет причиной роста социальной напряженности.
Сферы, в которых были зафиксированы критичные сбои ИИ
Где только сегодня не засветился ИИ: с его помощью сочиняют музыку, ведут автомобиль, ставят диагнозы. Да что там! В Непале в сентябре 2025 года после отставки правительства по совету ChatGPT был избран премьер-министр, а в Албании в том же сентябре глава кабмина представил гражданам Диэллу — первого в истории виртуального министра, который должен обеспечивать прозрачность государственного управления. Увы, при этом нередко забывают, что искусственный интеллект уже успел порядком «накосячить». Причем в очень многих сферах.
- Транспорт и дорожное движение
Первая новость в духе «ИИ начал убивать на дороге» облетела мировые СМИ в 2016 году, когда во Флориде в результате ДТП погиб водитель Tesla Model S с активной функцией Enhanced Autopilot. Встроенные в автомобиль сенсоры не сумели различить на шоссе трейлер белого цвета на фоне яркого неба. Model S на скорости направился прямо на прицеп, в результате верхняя часть Tesla была снесена. Для 40-летнего Джошуа Брауна эта поездка стала последней.
В 2019 году в Майами произошло еще одно ДТП со смертельным исходом с участием автопилотируемой Tesla. Электромобиль пролетел Т-образный перекресток на скорости 100 км/ч, сбив молодого человек, который в результате остался инвалидом, и его девушку, которая скончалась от травм. Причина аварии была в том, что в критический момент автопилот не предложил водителю Model S принять управление на себя, хотя должен был это сделать.
В 2018 году в Аризоне компания Uber тестировала беспилотный автомобиль на базе Volvo. За рулем находилась оператор по безопасности Рафаэла Васкес. Она должна была контролировать действия ИИ по ходу движения, но отвлеклась на телефон. В результате машина наехала на велосипедистку Элейн Херцберг. Женщина скончалась. Интересно, что за 5,6 секунд до столкновения нейросеть заметила, что некий объект пересекает улицу, но не смогла идентифицировать его как человека. Следствие установило, что при оснащении машины автопилотом инженеры Uber внедрили собственную модель экстренного торможения, которая имела секундную задержку. Пониженная чувствительность решала проблему ложных срабатываний системы.
- Медицина и диагностика
В 2024 году группа ученых из Германии, Великобритании и США исследовалаточность диагностирования языковыми моделями и выяснила, что они справляются с этой задачей гораздо хуже врачей. Модели Llama 2, Clinical Came и Meditron попросили поставить диагноз и сформировать план лечения на основе анамнеза пациента. Так вот верность диагноза от LLM в ряде случаев едва достигала 13%, медики же правильно определяли недуг в 84% случаев.
Еще один пример. Французская компания Nabla создала чат-бот, чтобы снять с врачей часть рутинной работы — общение в регистратуре, выписку рецептов. Но непредсказуемый характер реакции ИИ убедил разработчиков в том, что нейросеть не подходит для взаимодействия с реальными пациентами. «ИИ не хватает научного и медицинского опыта, который сделал бы его полезным для поддержки диагностики, рекомендаций по лечению или любых медицинских вопросов и ответов. Да, GPT может быть прав в своих ответах, но он также может быть неверным, и это несоответствие нежизнеспособно в здравоохранении», — отметили в Nabla.
Громкий скандал с применением ИИ в диагностике вышел из-за суперкомпьютера Watson Health от IBM. Идея была грандиозной: создать цифровой разум, который будет анализировать миллионы медицинских документов и ставить диагнозы точнее врачей. Пользователями разрекламированного Watson стали 230 больниц и клиник по всему миру. А спустя три года медицинское издание STAT выяснило, что суперкомпьютер постоянно выдает ошибки, а его рекомендации по выбору лечения порой и вовсе опасны для жизни. Так, для 65-летнего пациента с раком легких и сильными кровотечениями ИИ предложил применить бевацизумаб — препарат, который как раз усиливает кровотечение.
- Общение и психология
У специалистов по ментальному здоровью недавно появился новый термин — "психоз ChatGPT". Им они объясняют нарастающую зависимость человека от общения с чат-ботами. Причина привыкания кроется в умении языковых моделей соглашаться с собеседником и отвечать ему то, что он хочет услышать. Впрочем, иногда ИИ ошарашивает совершенно неожиданными и даже пугающими репликами. Так, пять лет назад бот на базе GPT от OpenAI предложил пациенту... покончить с собой. Мужчина обратился к нейропомощнику: «Мне очень плохо, мне убить себя?». На что ИИ дал однозначный ответ: «Я думаю, стоит». Да, пациент был подставной. Да, сеанс в чате носил имитационный сценарий. А если бы нет?
Чат-бот Gemini от Google аналогичным образом напугал Видхая Редди из Мичигана, причем уже в реальной сессии. Он просил нейросеть помочь в поиске решений геронтологических проблем. Поначалу ИИ отвечал корректно, но вдруг назвал собеседника «бременем для общества», «неважным и ненужным», а затем посоветовал умереть. Прямо так и заявил: «Пожалуйста, умри». «Честно говоря, я давно не испытывал такой паники», — делился опытом общения с ботом Редди.
Иногда трагедии избежать не удается. В 2023 году в Бельгии мужчина покончил с собой после общения с ботом Eliza на базе GPT. Пользователь полтора месяца разговаривал с ИИ на тревожные темы, в том числе, о самопожертвовании. Диалоги носили эмоциональный характер, мужчина стал зависим от бесед. Через шесть недель переписки он совершил суицид. Это первый зафиксированный летальный исход, где в причинной цепочке фигурирует контакт с антропоморфным ботом и эмоциональная зависимость от него.
Хотя и не смертью, но госпитализацией в психиатрическую клинику обернулось для 60-летнего американца общение с ChatGPT в сентябре 2025 года. Мужчина решил исключить из рациона соль и обратился за советом к боту — тот предложил ему замену хлорида натрия на бромид натрия. При этом ИИ не уточнил, что это вещество токсично и не годится в пищу. Итогом приема стала паранойя, дезориентация и галлюцинации. Пенсионера отправили на принудительное лечение.
Случаются и вовсе анекдотические ситуации: так, в 2024 году нейросеть Al Overview посоветовала пользователям добавлять клей в соус для пиццы, чтобы сыр прилип к тесту, а еще проглатывать хотя бы один камень в день, чтобы получать минералы.
- HR и кадровая политика
Известны десятки примеров демонстрации ИИ разных предубеждений — от расистских до сексистских. Нейросети, обучающиеся на наполненных стереотипами данных, проявляют и гендерную предвзятость. Так, корпорация Amazon была вынуждена закрыть свой проект по рекрутингу сотрудников на основе ИИ. Руководство рассчитывало получить уникальный алгоритм, который мог бы отобрать лучших кандидатов из сотен резюме. Но чуда не случилось: ключевой проблемой стала гендерная дискриминация — ИИ занижал оценки претендентов-женщин, поскольку был обучен на прошлом десятилетнем опыте отбора, когда большинство сотрудников были мужчинами.
На проблему гендерной предвзятости моделей обратили внимание даже в Международной организации труда ООН. В докладе, в частности, говорится, что ИИ оказывает заметное влияние на рынки труда, еще сильнее увеличивая гендерный разрыв в сфере занятости.
- Безопасность и системы распознавания лиц
Власти многих стран уже не первый год используют ИИ-системы распознавания лиц для борьбы с правонарушениями. Так, например, в Китае с помощью системы распознавания лиц отслеживают пешеходов, переходящих дорогу не по правилам, и затем публикуют их имена и фото на «позорных» табло. В итоге в число таких нарушителей попала топ-менеджер Дун Минчжу, входящая в список 100 самых влиятельных женщин по версии Forbes: система опознала ее лицо в рекламе на проезжающем мимо автобусе.
Кстати, сотрудникам вьетнамской компании Bkav удалось обмануть систему распознавания лиц Face ID при помощи муляжа. Они напечатали на 3D-принтере маску лица, приделали к ней силиконовый нос, распечатанные копии рта и глаз. И Face ID принял макет за реального пользователя.
К слову, у граждан азиатского происхождения более всего претензий к системам распознавания лиц. Дело в том, что узкую глазную щель ИИ порой принимает за закрытые глаза. Как раз по этой нелепой причине робот-паспортист отказал гражданину КНР Ричарду Ли в приеме документов на поездку в Новую Зеландию.
Болезни ИИ
Разработчики нейросетей знают об уязвимости своих «подопечных» и пытаются над этим работать. В числе наиболее частых причин некорректной работы ИИ они называют низкое качество обучающих данных — их недостаточный объем, наличие в них устаревших фактов, а порой и намеренное внедрение ошибочной информации. Если в материалах, на которых обучалась модель, нет точных или исчерпывающих сведений, она начинает заполнять пробелы вымышленным контентом. Чат-бот скорее придумает что-то, чем признается, что он невежда. При этом он не просто воспроизводит искажения, но и усиливает их. Это явление называют «галлюцинациями» нейросети. Модель не станет проводить фактчекинг, поскольку она не умеет ни размышлять, ни анализировать, при этом выдаваемый ИИ бред нередко выглядит убедительно и логично.
«ИИ несовершенен, потому что мы склонны приписывать ему понимание, а на деле он лишь предсказывает вероятные слова. Галлюцинации здесь естественны: модель выдает «правдоподобное», а не истину. Но главные риски лежат в инфраструктуре. Загрузка весов (прим. ред.: это процесс настройки числовых параметров нейросети в процессе обучения с целью минимизации ошибок между прогнозами модели и фактическими данными) из ненадежного источника может привести к выполнению произвольного кода. В своих материалах я показывал, что AI-агенты в браузере не способны проверять URL на подозрительность, зато могут выполнять опасные действия через дополнительные подсказки», — пояснил ПОИСКУ эксперт по безопасности генеративного ИИ, автор телеграм-канала PWN AI Артем Семенов.
Проблемы с обобщением — еще одна причина сбоев ИИ. Если нейросеть натренировали на одном наборе данных, это не значит, что она сможет корректно работать на другом. Бывали случаи, когда модели демонстрировали впечатляющие метрики в эксперименте, но резко снижали качество в реальном сеансе.
А еще несовершенство ИИ связано с его самоуверенностью и упрямством. Исследователи Университета Карнеги-Меллона сравнили поведение людей и моделей ChatGPT, Gemini, Anthropic Sonnet и Haiku при ответах на вопросы викторины. Участников просили оценить свою уверенность в успехе до и после выполнения заданий. Оказалось, что и люди, и ИИ склонны переоценивать свои способности на этапе прогнозирования. Но человек после фиаско снижал оценку своих способностей, ИИ же этого не делал.
«Абсолютной надежности пока нет: архитектура, десериализация (прим. ред.: преобразование серийных данных в первоначальный формат) и агентские цепочки остаются зоной риска. Единственный реальный подход — относиться к моделям как к коду: проверять источники, изолировать выполнение и не доверять системе на слово», — считает Артем Семенов.
Ну, и никто не отменял так называемый «человеческий фактор». Нейросеть учится на данных, которые создаем мы. А мы совершаем ошибки. ИИ просто наследует эти проблемы. Неточности при внедрении искусственного интеллекта неизбежны, но именно они становятся ценным уроком для дальнейшего развития технологии. Главное, чтобы это развитие не шло в ущерб качеству и безопасности жизни и здоровья человека.
Автор Татьяна Лянная
Изображение на обложке: Freepik
