L'AMIE de Google atteint un niveau expert dans les consultations cliniques audio-visuelles

Google Research a fait progresser son système médical d'IA AMIE pour mener des consultations vidéo en temps réel, atteignant des performances de niveau expert dans une étude contrôlée randomisée avec des consultations simulées. Le système, AMIE (Video), basé sur Gemini et Project Astra, répond aux limites des interfaces textuelles en percevant les signaux non verbaux, en guidant les examens physiques virtuels et en raisonnant de manière diagnostique en temps réel. Pour équilibrer la latence conversationnelle avec un raisonnement profond, AMIE (Video) utilise une architecture multi-agents asynchrone avec trois agents spécialisés travaillant en parallèle. Dans une étude portant sur 100 scénarios, 300 consultations en direct et 30 médecins de soins primaires certifiés, AMIE (Video) a été évalué au même niveau que les médecins de soins primaires sur les compétences cliniques de base. Il a été jugé nettement supérieur aux médecins de soins primaires et à AMIE (Text) pour susciter les signes physiques et guider les examens virtuels, et les acteurs patients ont préféré l'interface vidéo. Les limites incluent l'utilisation de cadres simulés et des erreurs perceptuelles occasionnelles, et une validation supplémentaire avec de vrais patients est nécessaire.