プロンプトがモデルよりも重要であることが証明された：カバーレター生成実験

ある開発者が、ローカルモデル（Ollama経由）またはクラウドAPIを使用して求人用のカバーレターを生成するアプリを作成し、テキスト品質がモデルにどれだけ依存するかをテストすることにしました。彼は、IT分野で仕事を探している友人とブラインド評価を行いました。3つのモデル（qwen2.5:3b、qwen2.5:7b、llama-3.3-70b）を使った最初の実行では、送信可能なレターはわずか20～30%で、クラウドモデルもローカルモデルを上回ることはありませんでした。分析の結果、共通の欠陥（未入力のプレースホルダー、捏造された職歴、中国語の文字）が見つかりました。問題はプロンプト自体にあることが判明しました。それは英語で書かれており、制約がなかったのです。プロンプトをロシア語で書き直した後、機械的なエラーは25%から100%のクリーンさに改善しましたが、人間による評価は退屈さのために依然としてゼロでした。友人は、カバーレターは斜め読みされることが多いため、フレーズの冒頭でのフックの密度が重要だと指摘しました。10回の反復の後、プロンプトはモデルに対して、レターがどのように読まれるかを説明し、事実に基づく最初の行、簡潔な挨拶、そして職務適性に対応する独立した段落を要求しました。このプロンプトにより、ローカルモデル（gemma-3-4b、qwen-3.5-4b）は8通中7通で100%の送信可能性を達成し、Claude Opus 4.8とGigaChat-2-Proはより活気のあるスタイルで100%を達成しました。チューリングテストでは、友人は生成された8通のうち6通を人間が書いたものと識別しました。結論：プロンプトが下限を設定し、モデルが上限を引き上げます。弱いハードウェアでも、ローカルの4Bモデルはすでにまともなレターを生成できます。