AIの大規模展開:500人以上の開発者における採用、指標、チーム変革の管理方法
Anthropic
1年間の実験を経て、ある銀行のデータオフィスは、従来のトレーニングは採用率向上にほとんど効果がなく、ユーザー数はビジネスへの影響を反映していないことを発見しました。現在はAI採用を追跡するための4つの主要な指標を使用し、エージェンティックエンジニアリングへの役割とチームの変革に焦点を当て、中核となる銀行業務の安定性とイノベーションのバランスを取っています。
運用部門データオフィスのプロダクトオーナーであるユーリ・カッツァー氏と、AIプロダクトマネージャーのヴィアチェスラフ・グチ氏が、500人以上の開発者、データエンジニア、アナリスト、サポートエンジニアを擁する銀行でのエージェンティックエンジニアリング導入から1年以上にわたる知見を共有します。彼らは、従来型の学習では導入率向上にほとんど効果がなく、ユーザー数がビジネス効果を示すわけではないことを発見しました。彼らは単一の「日次利用」指標から、AI浸透率、アクティブユーザー数、W50+、W80+という4つの採用指標に移行しました。W50+とW80+は、月の勤務日の50%以上および80%以上でAIを利用している従業員の割合を表します。銀行はすべてを自動化することを目指さず、タスクの80%がエージェントによって処理され、結果の80%をもたらすパレート最適状態を目標としています。彼らは、コード作成がもはや主要なボトルネックではなく、仕様の品質、エージェントが利用できるコンテキスト、統合、そしてチームが作業プロセスを再構築する能力が最も重要であることに気づきました。彼らは、自律的な開発への移行を追跡するため、AI支援タスクの割合や自律的に完了したタスクの割合などの代理指標を導入しつつ、欠陥率、サイクルタイム、リードタイム、スループットといった従来のエンジニアリング指標も引き続き監視しています。彼らは、役割が変革しつつあることを観察しています。開発者はエンドツーエンドエンジニアまたはプロダクトエンジニアに収束し、データ関連の役割はデータプロダクトエンジニアに収束します。パイロットでは、2人の開発者と1人のビジネスエキスパートからなるミニチームが、5人チームと同じ時間で統合サービスを完了し、品質を維持しスループットを向上させましたが、リードタイムは変わりませんでした。彼らは技術的な準備が重要だと強調し、エージェンティックエンジニアリングの4つの柱を概説しています。コンテキストと統合が最も広範で断片的な層です。彼らはBMADオーケストレーターをテストし、制約を中心に設計されたアーキテクチャが、制約を排除しようとするよりも優れた結果をもたらすことが多いという驚きを含む発見を得ました。
出典: Habr — хаб ИИ —
原文
