Ontario Auditors: AI-Assisted Medical Scribes Routinely Distort Basic Facts
Microsoft
Nuance Communications
Suki.AI
Een onderzoek door auditors in Ontario heeft uitgewezen dat AI-systemen voor het transcriberen van dokters- en patiëntgesprekken, zoals DAX Copilot van Nuance, Suki AI en Robin AI, ernstige fouten maken. In 18 van de 55 beoordeelde gevallen werden feitelijke onjuistheden aangetroffen, waaronder verzonnen symptomen en onjuiste aanbevelingen, wat de veiligheid van de patiënt in gevaar kan brengen.
Uit een onderzoek van de Auditor General van Ontario blijkt dat AI-tools voor medische dossiervoering die door artsen in de provincie worden gebruikt, systematisch significante feitelijke fouten maken. In 18 van de 55 beoordeelde gevallen vonden auditors onjuistheden in gegenereerde dossiers, waaronder verzonnen symptomen, onjuiste data, medicijnen en zelfs aanbevelingen die de arts nooit had gedaan. Tot de onderzochte systemen behoorden DAX Copilot van Microsoft/Nuance, Suki AI van Suki.AI en Robin AI van Robin Healthcare. Auditors merkten op dat artsen gegenereerde notities vaak ondertekenen zonder ze te controleren, vertrouwend op de AI. In één geval schreef DAX Copilot symptomen toe aan een patiënt die de patiënt niet had gemeld; in een ander geval registreerde Suki AI onjuist een medicatiedosering. Hoewel leveranciers beweren dat hun AI klinische onderzoeken en HIPAA-certificering heeft ondergaan, riepen auditors op tot verplichte realtime nauwkeurigheidsaudits van dergelijke systemen.
Bron: The Register AI/ML —
origineel
