ИИ под вопросом. Половина медицинских алгоритмов обучалась на сгенерированных данных

Исследование, проведенное учеными из Университета Северной Каролины (UNC), выявило тревожные факты о медицинских системах искусственного интеллекта (ИИ), одобренных в США. Оказалось, что около половины этих алгоритмов были обучены на сгенерированных данных, что ставит под сомнение их клиническую эффективность и безопасность.

Учёные из Университета Северной Каролины проанализировали историю разработки более 500 медицинских устройств и алгоритмов на основе ИИ, получивших одобрение Управления по контролю качества пищевых продуктов и лекарственных средств США (FDA). Результаты анализа показали, что почти половина этих систем обучалась не на реальных данных пациентов, а на сгенерированных, что вызывает сомнения в их клинической применимости и надёжности.

«Корпорации часто используют сам факт одобрения их разработки регулирующими органами в качестве свидетельства того, что их продукт заслуживает доверия. В реальности это одобрение не означает, что при разработке и проверке ИИ были использованы реальные данные о пациентах.»

— Сэмми эль Фасси, научный сотрудник Университета Северной Каролины

Исследователи также обнаружили, что лишь 22 из 520 проанализированных систем ИИ прошли полноценные клинические испытания. У более чем 40% алгоритмов отсутствовали публично доступные результаты проверки их работы на практике. Такие данные вызывают серьёзные вопросы о том, насколько качественно были проведены проверки этих систем перед их одобрением для клинического использования.

«Мы уже передали собранные нами данные тем руководителям FDA, которые отвечают за выдачу разрешений на использование медицинских приборов. Кроме того, мы надеемся, что наша публикация заставит научные коллективы и университеты по всему миру проводить полноценные клинические испытания при разработке медицинских ИИ.»

— Сэмми эль Фасси, научный сотрудник Университета Северной Каролины

Результаты исследования подчеркивают необходимость пересмотра подходов к проверке и сертификации медицинских систем ИИ, чтобы обеспечить их безопасность и эффективность для пациентов.