Menyalin Prompt Anda Dua Kali: Saya Menguji Trik '+76%' dan Menemukan Kebenarannya

Penulis menguji trik duplikasi prompt yang viral, merujuk pada pracetak penelitian Google berjudul 'Prompt Repetition Improves Non-Reasoning LLMs'. Dalam penelitian asli, menduplikasi prompt membantu model non-penalaran dalam 47 dari 70 perbandingan, dengan angka +76% berasal dari satu tes stres pada Gemini 2.0 Flash-Lite, yang sejak itu sudah dihentikan. Penulis menjalankan eksperimennya sendiri: 3360 kueri, $1,48, pada gemini-2.5-flash-lite (penalaran nonaktif) dan gemini-3.5-flash-lite (pemikiran minimal dan tinggi). Pada rangkaian stres (tugas NameIndex dan MiddleMatch), menduplikasi prompt meningkatkan akurasi sebesar +38,8 poin persentase pada model 2.5, mereplikasi efek asli, tetapi tidak berpengaruh pada tugas sehari-hari. Salinan ketiga hanya menambah +5 poin persentase, dan menambahkan penanda seperti 'Ulangi:' tidak membuat perbedaan. Pada model 3.5 dengan pemikiran minimal, efeknya tetap ada (+36,3 poin persentase), tetapi dengan pemikiran tinggi, akurasi sudah 100% pada kedua prompt. Trik ini juga menstabilkan model yang sebelumnya tidak deterministik. Namun, penulis mencatat bahwa trik ini secara khusus memperbaiki kelengahan perhatian pada daftar panjang, bukan aritmetika atau defisit penalaran lainnya, dan menyarankan kehati-hatian: hasil terbatas pada ID model dan tanggal tertentu, dan kumpulan data dibuat sendiri.