온타리오 감사관: AI 기반 의료 기록 보조 도구가 기본 사실을 일상적으로 왜곡
Microsoft
Nuance Communications
Suki.AI
온타리오 감사관의 조사에 따르면 뉴앙스(DAX Copilot), 수키 AI(Suki AI), 로빈 AI(Robin AI) 등 의사-환자 대화를 기록하는 AI 시스템이 심각한 오류를 범하는 것으로 나타났다. 검토된 55건 중 18건에서 허위 증상 및 부적절한 권장 사항을 포함한 사실적 부정확성이 발견되어 환자 안전을 위협할 수 있다.
온타리오주 감사원장(Auditor General of Ontario)의 조사에 따르면, 주 내 의사들이 사용하는 의료 기록 보관용 인공지능(AI) 도구들이 체계적으로 심각한 사실 오류를 범하고 있는 것으로 나타났다. 검토된 55건 중 18건에서 감사관들은 생성된 기록에서 증상 조작, 잘못된 날짜, 약물 정보, 그리고 의사가 결코 제시하지 않은 권장 사항까지 포함한 부정확성을 발견했다. 검토된 시스템으로는 마이크로소프트(Microsoft)/뉴앙스(Nuance)의 DAX Copilot, 수키 AI(Suki.AI)의 Suki AI, 로빈 헬스케어(Robin Healthcare)의 Robin AI 등이 포함되었다. 감사관들은 의사들이 AI에 의존하며 생성된 기록을 확인하지 않고 종종 서명한다고 지적했다. 한 사례에서 DAX Copilot은 환자가 보고하지 않은 증상을 환자에게 귀속시켰고, 다른 사례에서 Suki AI는 약물 용량을 잘못 기록했다. 공급업체들은 자사의 AI가 임상 시험과 건강보험 정보 보호 및 책임에 관한 법률(Health Insurance Portability and Accountability Act, HIPAA) 인증을 거쳤다고 주장하지만, 감사관들은 이러한 시스템에 대한 실시간 정확성 감사를 의무화할 것을 촉구했다.
출처: The Register AI/ML —
원문
