Развитие реалистичного и экономичного клинического мышления с помощью ИИ
Искусственный интеллект (ИИ) открывает новые горизонты в области медицинской диагностики и клинического мышления. Однако традиционные методы оценки ИИ часто не отражают реальной сложности клинической практики. В этом контексте проекты SDBench и MAI-DxO становятся важными инструментами, способствующими улучшению точности диагностики и снижению затрат в здравоохранении.
Проблемы традиционных методов диагностики
Медицинское решение проблем изучается уже несколько десятилетий. Ранние системы ИИ использовали байесовские модели для последовательной диагностики в различных областях медицины. Однако эти подходы сталкивались с трудностями из-за необходимости обширного экспертного ввода. Современные исследования все чаще обращаются к языковым моделям для клинического мышления, однако их оценка часто осуществляется через статические тесты, которые не отражают реальную сложность.
Что такое SDBench и MAI-DxO?
Чтобы более точно отразить реальное клиническое мышление, исследователи Microsoft AI разработали SDBench — стандарт, основанный на 304 реальных диагностических случаях из New England Journal of Medicine. В этом стандарте доктора или системы ИИ должны взаимодействовать, задавая вопросы и назначая тесты перед окончательной диагностикой. Языковая модель выступает в роли фильтра, раскрывающего информацию только по запросу.
Для повышения эффективности был представлен MAI-DxO, система-оркестратор, соразработанная с врачами, которая имитирует виртуальную медицинскую панель для выбора высокоценных, экономически эффективных тестов. В сочетании с моделями, такими как o3 от OpenAI, MAI-DxO достигла точности до 85,5%, значительно снизив затраты на диагностику.
Структура SDBench
Стандарт SDBench был создан на основе 304 случаев NEJM Case Challenge (2017–2025), охватывающих широкий спектр клинических условий. Каждый случай был преобразован в интерактивную симуляцию, где диагностические агенты могли задавать вопросы, запрашивать тесты или ставить окончательную диагностику. Модель языка, управляемая клиническими правилами, отвечала на эти действия, используя реалистичные детали случаев или синтетические, но последовательные данные.
Оценка производительности
Исследователи оценили различные ИИ диагностические агенты на SDBench и обнаружили, что MAI-DxO стабильно превосходит как готовые модели, так и врачей. Стандартные модели показали компромисс между стоимостью и точностью, в то время как MAI-DxO, основанная на o3, обеспечила более высокую точность при более низких затратах. Например, она достигла 81,9% точности при затратах в $4,735 за случай, в то время как готовая модель O3 показала 78,6% при $7,850.
Преимущества SDBench и MAI-DxO
- Реалистичность: SDBench имитирует реальное клиническое принятие решений, требуя от ИИ или врачей активного участия в процессе диагностики.
- Экономия: MAI-DxO помогает снизить затраты на диагностику, выбирая высокоценные тесты и избегая ненужных.
- Улучшение качества: Использование MAI-DxO и SDBench позволяет значительно повысить точность диагностики в сложных случаях.
Заключение
SDBench представляет собой новый диагностический стандарт, который превращает случаи NEJM CPC в реалистичные интерактивные задачи, требующие от ИИ или врачей активного участия в процессе диагностики с учетом связанных затрат. В отличие от статических стандартов, он имитирует настоящее клиническое принятие решений. MAI-DxO, в свою очередь, помогает достичь высокой точности диагностики при низких затратах. Текущие результаты многообещающие, особенно в сложных случаях, но существуют ограничения, связанные с отсутствием повседневных условий и реальных ограничений. Будущая работа нацелена на тестирование системы в реальных клиниках и условиях с ограниченными ресурсами, что может оказать значительное влияние на глобальное здравоохранение и образовательные процессы.
