Como prevenir que psicólogos IA sofram de bajulação e alucinações: uma análise técnica das salvaguardas de segurança
O artigo examina por que LLMs de propósito geral são perigosos em funções de saúde mental devido à bajulação, alucinações e cegueira a crises. Ele detalha a segurança – obvyazka (salvaguardas perimetrais como avisos, protocolos de crise, escalas validadas) e destaca uma arquitetura multiagente (exemplo: Vera) onde um segundo supervisor de IA e um revisor acadêmico verificam cada resposta. O trade-off é maior custo e latência para revisão em nível de conteúdo, e o autor questiona onde o equilíbrio entre segurança e custo deve estar.
Character.AI
Habr — хаб ИИ29.07 · 16:01