ロード・オブ・ザ・リングを見せて！Karpathy氏がLLM向けの新しいベンチマークを提唱

アンドレイ・カーパシー氏は、AnthropicがLLM用の新しいベンチマークを使用していることを明らかにしました。それは『指輪物語』の冒頭から中つ国の世界を生成するというものです。モデルのClaude Opus 5は、テキストとJavaScriptライブラリであるThree.jsをプロンプトとして与えられ、ブラウザ上でインタラクティブな3Dシーンを作成しました。Opus 5はこのデモを生成するのに、100万トークン、2時間、5500行のコードを要しました。最終結果は粗削りで、初期の3Dアニメーションを思わせ、キャラクターや体の一部が浮遊するなどの問題があります。カーパシー氏は、Opus 5が生成した世界に実際に『入る』ことはできず、エラーをチェックするために異なる時間でスクリーンショットを撮ることしかできないと認めました。これは、現在のLLMの弱点を浮き彫りにしています。つまり、コードを書き、シーンを構築することはできても、自分たちが作ったビデオを見たり、ゲームをプレイしたりすることができないのです。開発者のサイモン・ウィリソンによって広められた『ペリカンが自転車に乗る』SVGテストは、モデルがそれを得意としすぎたため、段階的に廃止されつつあります。新しいベンチマークは、モデルが複雑なプロジェクトを計画し、何時間も作業し、数千行のコードを反復処理する能力をテストすることを目的としています。コミュニティの反応はさまざまで、新しい方向性を賞賛する声もあれば、そのコストやThree.jsが本当に一般的な知能を測定するのかどうかを疑問視する声もありました。ネットユーザーはまた、AIが生成したカニエ・ウェストのコンサートなど、独自のプロジェクトを作成しました。カーパシー氏は、ビデオレンダリング用のSeedanceやオーディオ用のElevenLabsなどのAPIを統合して品質を向上させることを提案しました。