プロンプトを2回コピーする「+76%」のトリックを検証した結果、真実が判明

著者は、Google Researchのプレプリント「Prompt Repetition Improves Non-Reasoning LLMs」を参照した、話題のプロンプト複製テクニックを検証した。元の研究では、プロンプトを複製することで非推論モデルの70比較中47件で改善が見られ、+76%という数字は、その後廃止されたGemini 2.0 Flash-Liteに対する単一のストレステストから得られたものである。著者は独自の実験を行った：3360クエリ、1.48ドルを、gemini-2.5-flash-lite（推論オフ）とgemini-3.5-flash-lite（思考最小および高）で実行した。ストレススイート（NameIndexおよびMiddleMatchタスク）では、プロンプトの複製により2.5モデルの精度が+38.8パーセントポイント向上し、元の効果が再現されたが、日常的なタスクには効果がなかった。3回目の複製では+5パーセントポイントの追加改善のみで、「Repeat:」のようなマーカーを追加しても違いはなかった。3.5モデルで思考最小の場合、効果は持続した（+36.3パーセントポイント）が、思考高の場合、両プロンプトで精度はすでに100%だった。このテクニックは、非決定的なモデルを安定させる効果もあった。しかし、著者は、このテクニックが特に長いリストに対する注意の散漫を修正するものであり、算術やその他の推論の欠陥を修正するものではないと指摘し、結果は特定のモデルIDと日付に限定され、データセットは自作であるため、注意を促している。