Je Prompt Twee Keer Kopiëren: Ik Testte de '+76%'-truc en Ontdekte de Waarheid
Google/DeepMind
Een virale lifehack beweert dat het dupliceren van je prompt aan een LLM de nauwkeurigheid met 76% verhoogt. Toen ik dit testte op 3360 queries bij verschillende Gemini-modellen, bleek het effect echt maar smal te zijn: het verhelpt een specifieke fout van niet-redenerende modellen bij lange lijsten, maar is geen algemene intelligentieboost. De beroemde +76% is een enkele stresstest, en moderne redenerende modellen zijn immuun voor de truc.
De auteur testte een virale prompt-duplicatietruc die verwees naar een preprint van Google Research, 'Prompt Repetition Improves Non-Reasoning LLMs'. In het origineel hielp het dupliceren van de prompt bij niet-redenerende modellen in 47 van de 70 vergelijkingen, waarbij het +76%-cijfer afkomstig was van een enkele stresstest op Gemini 2.0 Flash-Lite, dat inmiddels is stopgezet. De auteur voerde zijn eigen experiment uit: 3360 queries, $1,48, met gemini-2.5-flash-lite (redeneren uit) en gemini-3.5-flash-lite (denken minimaal en hoog). Op de stresssuite (NameIndex- en MiddleMatch-taken) verbeterde het dupliceren van de prompt de nauwkeurigheid met +38,8 procentpunten op het 2.5-model, waarmee het oorspronkelijke effect werd gerepliceerd, maar had geen effect op dagelijkse taken. Een derde kopie voegde slechts +5 procentpunten toe, en het toevoegen van een markering zoals 'Herhaal:' maakte geen verschil. Op het 3.5-model met minimaal denken bleef het effect bestaan (+36,3 procentpunten), maar met hoog denken was de nauwkeurigheid al 100% bij beide prompts. De truc stabiliseerde ook een anderszins niet-deterministisch model. De auteur merkt echter op dat de truc specifiek aandachtsfouten bij lange lijsten verhelpt, niet rekenkundige of andere redeneertekorten, en adviseert voorzichtigheid: de resultaten zijn beperkt tot specifieke model-ID's en datums, en de dataset is zelf samengesteld.
Bron: Habr — хаб ИИ —
origineel