Google протестировала медицинскую ИИ-систему AMIE в видеоконсультациях

Google Research и Google DeepMind разработали видеоверсию исследовательской системы AMIE, способную вести устный диалог, анализировать аудио- и видеосигналы и направлять пациента при дистанционном осмотре. В исследовании на 300 симулированных консультациях эксперты оценили ее на уровне врачей первичной помощи по основным клиническим критериям, однако испытания проводились с актерами, а не реальными пациентами.

Google Research и Google DeepMind представили видеоверсию AMIE (Articulate Medical Intelligence Explorer) — экспериментальной медицинской ИИ-системы для клинических консультаций. Она может в реальном времени разговаривать с пациентом, учитывать визуальные и звуковые признаки, а также давать инструкции для дистанционного физического осмотра.

AMIE построена на моделях Gemini и технологиях Project Astra. Ее асинхронная архитектура включает три параллельно работающих компонента: Talker поддерживает разговор с низкой задержкой, Planner формирует диагностические гипотезы и план дальнейших действий, а Perception анализирует аудио- и видеопоток в поисках клинически значимых признаков.

В рандомизированном исследовании использовались 100 клинических сценариев и 300 консультаций с участием 15 профессиональных актеров, изображавших пациентов. Десять сертифицированных врачей первичной помощи проводили консультации для сравнения, еще 20 врачей оценивали результаты.

По оценкам экспертов, AMIE (Video) соответствовала врачам или превосходила их по сбору анамнеза, диагностике, выбору лечения и проведению дистанционного осмотра. Актеры также сочли видеоинтерфейс системы более удобным и эффективным для описания жалоб, чем текстовый чат.

Работа опубликована как препринт. Исследование не включало настоящих пациентов, охватывало только симптомы, которые можно достоверно воспроизвести актерской игрой, а в ходе тестов система допускала отдельные ошибки восприятия и рассуждения. AMIE остается исследовательским прототипом и пока не предназначена для клинического применения.