Copiando Seu Prompt Duas Vezes: Testei o Truque '+76%' e Descobri a Verdade

O autor testou um truque viral de duplicação de prompt referenciado a um preprint da Google Research 'Prompt Repetition Improves Non-Reasoning LLMs'. No original, duplicar o prompt ajudou modelos não-racionais em 47 de 70 comparações, com o número de +76% vindo de um único teste de estresse no Gemini 2.0 Flash-Lite, que desde então foi descontinuado. O autor conduziu seu próprio experimento: 3360 consultas, $1,48, no gemini-2.5-flash-lite (raciocínio desligado) e no gemini-3.5-flash-lite (pensamento mínimo e alto). No conjunto de estresse (tarefas NameIndex e MiddleMatch), duplicar o prompt melhorou a precisão em +38,8 pontos percentuais no modelo 2.5, replicando o efeito original, mas não teve efeito em tarefas cotidianas. Uma terceira cópia adicionou apenas +5 pontos percentuais, e adicionar um marcador como 'Repita:' não fez diferença. No modelo 3.5 com pensamento mínimo, o efeito persistiu (+36,3 pontos percentuais), mas com pensamento alto, a precisão já era de 100% em ambos os prompts. O truque também estabilizou um modelo que, de outra forma, era não-determinístico. No entanto, o autor observa que o truque corrige especificamente lapsos de atenção em listas longas, não déficits de aritmética ou outros de raciocínio, e aconselha cautela: os resultados são limitados a IDs de modelo e datas específicos, e o conjunto de dados é feito por ele mesmo.