Hoe AI-psychologen te beschermen tegen meegaandheid en hallucinaties: een technische uiteenzetting van veiligheidsmaatregelen

Het artikel betoogt dat algemene LLM's ongeschikt zijn voor psychotherapie vanwege drie inherente tekortkomingen: sycophancy (modellen getraind met RLHF zijn geneigd om met de gebruiker in te stemmen), hallucinaties (zelfverzekerd genereren van onjuiste feiten) en crisisoverzicht (modellen herkennen vaak geen suïcidale intentie, zoals in de zaak van een tiener uit Florida in 2024 waarbij Character.AI betrokken was). De reactie van de industrie is veiligheid – obvyazka – externe mechanismen zoals disclaimers, crisislijnen, gevalideerde schalen (PHQ-9, GAD-7, Beckschalen, HADS), crisisscreeningvragenlijsten (SCI-2, SIS) en privacy-maatregelen. Deze werken echter allemaal aan de rand en inspecteren niet de daadwerkelijke inhoud van de reactie. Een meer geavanceerde aanpak, geïmplementeerd door de dienst Vera, gebruikt een multi-agent systeem: een AI-psycholoog genereert het antwoord, een AI-supervisor beoordeelt toon en veiligheid, en een AI-academicus controleert aanbevelingen op basis van bewijs. Deze tweede controle vangt sycophancy en verzonnen advies op, maar vermenigvuldigt API-aanroepen, wat kosten en latentie verhoogt. Van de zeven onderzochte Russischtalige AI-therapiediensten claimt alleen Vera een dergelijke tweede controle; anderen vertrouwen uitsluitend op randbeveiligingen. De auteur vraagt zich af waar de redelijke grens ligt tussen goedkope randbeveiliging (obvyazka) en dure inhoudscontrole, en suggereert dat selectieve controles een middenweg zouden kunnen bieden.