Китайские исследователи решили проверить, что произойдёт, если не просто добавить искусственный интеллект к привычной работе врачей, а изначально построить вокруг него работу целой глазной клиники.
В экспериментальной клинике искусственный интеллект использовали практически на всех этапах — от подготовки пациента к консультации до последующего наблюдения. Он участвовал и в анализе снимков глаз, хотя человеческие врачи по-прежнему контролировали процесс.
Первые результаты оказались неоднозначными.
В начале эксперимента система довольно плохо распознавала заболевания на снимках, включая глаукому и возрастную дегенерацию жёлтого пятна. Однако ситуация резко изменилась после того, как офтальмологи предоставили ей 1426 тщательно отобранных и правильно размеченных изображений.
Эти относительно небольшие, но качественные данные оказались полезнее почти 27 тысяч снимков, использованных ранее, поскольку старый набор был хуже по качеству и менее подробно размечен.
После дополнительного обучения показатели системы значительно выросли. По стандартной диагностической метрике её результат превысил 0,93, что примерно соответствует уровню других современных систем анализа медицинских изображений.
Но затем исследователи столкнулись с другой проблемой: врачи начали всё реже пользоваться искусственным интеллектом.
Через пять месяцев его возможности использовали лишь в 41 из 1113 обследований за месяц — всего в 3,8 процента случаев.
Причина оказалась довольно прозаичной. Система была недостаточно удобной и замедляла работу.
После того как разработчики ускорили её, сократили количество необходимых нажатий и уменьшили объём ручного ввода информации, ситуация заметно изменилась. Уже в следующем месяце искусственный интеллект использовали в 259 из 1126 обследований — примерно в 23 процентах случаев.
По мнению авторов работы, этот результат оказался не менее важным, чем точность самого алгоритма.
Эксперимент показал, что внедрение искусственного интеллекта в медицину зависит не только от того, насколько хорошо он распознаёт заболевания. Не менее важны качество данных, удобство рабочего процесса, готовность врачей пользоваться системой, постоянный контроль её работы и реальная польза для пациентов.
Исследователи также обнаружили, что обратная связь от врачей должна поступать быстро. Если замечания передавались разработчикам только через несколько недель, улучшать систему становилось значительно сложнее.
В итоге авторы выделили три основных условия успешной работы такой клиники: качественные данные, удобная организация работы и постоянная быстрая обратная связь от врачей.
При этом остаётся ещё одна фундаментальная проблема.
Искусственный интеллект обычно начинает с результата: например, пытается определить по снимку, есть ли у человека заболевание. Врач же чаще начинает с жалоб пациента — например, с того, что человек заметил ухудшение зрения, — и уже затем пытается установить причину.
Поэтому высокая точность анализа снимков сама по себе ещё не означает, что система действительно улучшает медицинскую помощь.
Авторы считают, что будущие испытания подобных технологий стоит оценивать не только по диагностическим показателям. Гораздо важнее выяснить, меняет ли искусственный интеллект работу клиники к лучшему и действительно ли благодаря ему улучшаются результаты лечения пациентов.
Исследование опубликовано в журнале Nature Medicine.
