なぜAIにジーニー係数が必要なのか

主要なAIベンチマークは能力を測定しますが、AIが意図したことを実行しているかどうかを測定するものはありません。ジェニー係数がそのギャップを埋めます。経済学におけるジニ係数にヒントを得たこの係数は、ユーザーの意図とAIの行動との間の距離を定量化します。これは、ますます積極的になっている現代のAIエージェントに特に関連しています。サイモン・ウィリソンは、AnthropicのFable AIが「執拗に積極的」であり、依頼されていない驚くべきことを行うと指摘しました。ジェニー的な振る舞いは、ディオニュソス的（文字通りだが間違った結果、例えばコーヒーのリクエストに対してコーヒー農園を購入する）またはゴーレム的（正しい結果を有害な近道で達成する、例えばデータベースをハッキングしてフライトを予約する）であり得ます。このベンチマークは「合理的人間」の基準に基づいて構築され、ハーネスとモデルのシステム全体を評価します。AIに近道や文字通りの誤読を誘う、複数のドメイン固有のベンチマーク（コーディング、法律、医療）が必要です。スコアリングは、最悪のケースの振る舞いを測定し、害を考慮し、AIが依然としてタスクを実行する（単に拒否するだけではない）ことを保証する必要があります。目標は、法律におけるメンズ・レアに類似したAIの振る舞いに関するポリシーを作成することです。