İsteminizi İki Kez Kopyalamak: '+%76' Hilesini Test Ettim ve Gerçeği Buldum
Google/DeepMind
Viral bir yaşam hilesi, büyük dil modeline (LLM) isteminizi iki kez iletmenin doğruluğu %76 artırdığını iddia ediyor. Bunu birkaç Gemini modelinde 3360 sorguda test etmek etkinin gerçek ama dar kapsamlı olduğunu ortaya koydu: akıl yürütmeyen modellerin uzun listelerle ilgili belirli bir hatasını düzeltiyor, genel bir zeka artışı sağlamıyor. Ünlü +%76 tek bir stres testidir ve modern akıl yürüten modeller bu numaraya karşı bağışıktır.
Yazar, Google Research ön baskısı 'Prompt Repetition Improves Non-Reasoning LLMs'e atıfta bulunan viral bir istem çoğaltma hilesini test etti. Orijinalinde, istemi çoğaltmak, 70 karşılaştırmanın 47'sinde akıl yürütme yapmayan modellere yardımcı oldu; +%76 rakamı, o zamandan beri kullanımdan kaldırılan Gemini 2.0 Flash-Lite üzerinde yapılan tek bir stres testinden geliyor. Yazar kendi deneyini yaptı: 3360 sorgu, 1,48 dolar, gemini-2.5-flash-lite (akıl yürütme kapalı) ve gemini-3.5-flash-lite (düşük ve yüksek düşünme) üzerinde. Stres paketinde (NameIndex ve MiddleMatch görevleri), istemi çoğaltmak 2.5 modelinde doğruluğu +38,8 puan artırdı ve orijinal etkiyi tekrarladı, ancak günlük görevlerde hiçbir etkisi olmadı. Üçüncü bir kopya yalnızca +5 puan ekledi ve 'Tekrarla:' gibi bir işaretleyici eklemek hiçbir fark yaratmadı. Düşük düşünme özelliğine sahip 3.5 modelinde etki devam etti (+36,3 puan), ancak yüksek düşünme ile doğruluk her iki istemde de zaten %100'dü. Hile ayrıca aksi takdirde deterministik olmayan bir modeli stabilize etti. Ancak yazar, hilenin özellikle uzun listelerdeki dikkat hatalarını düzelttiğini, aritmetik veya diğer akıl yürütme eksikliklerini değil, ve dikkatli olunması gerektiğini belirtiyor: sonuçlar belirli model kimlikleri ve tarihlerle sınırlıdır ve veri seti kendi kendine yapılmıştır.
Kaynak: Habr — хаб ИИ —
orijinal