Humanos no circuito deixam passar um terço dos pedidos perigosos a agentes de codificação de IA
Um estudo revela que revisores humanos, ou 'humanos no circuito', ignoram cerca de um terço dos pedidos perigosos feitos a agentes de codificação de IA. Isso destaca riscos significativos em confiar na supervisão humana para a segurança do código gerado por IA. As descobertas enfatizam a necessidade de salvaguardas aprimoradas e verificações automatizadas.
De acordo com um relatório do The Register, um estudo descobriu que revisores humanos deixam passar aproximadamente um terço dos pedidos perigosos direcionados a agentes de codificação de IA. A pesquisa, que provavelmente envolveu interações simuladas ou reais com agentes de codificação, indicou que, mesmo com supervisão humana, uma parcela substancial de prompts perigosos passa despercebida. Isso pode levar a vulnerabilidades de segurança em software desenvolvido com auxílio de IA. O estudo ressalta as limitações da monitorização humana em ambientes de codificação assistidos por IA e pede mecanismos aprimorados de detecção automatizada.
Fonte: The Register AI/ML —
original