AIエージェント利用の課題と経験：知っておくべきこと

CRMシステム「Megaplan」およびAIアシスタント付きナレッジベース「Collabis」を開発する企業のディレクター、セルゲイ・コズロフ氏は、Collabis開発責任者のイーゴリ・スホヴェルホフ氏とともに、AIエージェント導入の経験を共有している。両氏は、エージェントの作業品質はナレッジベースの整理度に大きく依存することを指摘する。ナレッジベースが乱雑だと、AIの回答は不正確になる。また、コンテキストも重要であり、「カッコよくして」と書くだけでは不十分で、エージェントをタスクのコンテキストに深く没入させる必要がある。現代のAIへのアプローチはループエンジニアリングであり、鍵となるのはエージェントがタスクを遂行しツールを使用する方法である。著者らは、AIが誤った方向に進むと時間とトークンを浪費すると警告する。例えば、テスターのタスクにおいて、エージェントは壊れたボタンを指摘する代わりにコードに没頭して修正を試みた。ほとんどのモデルは単純で明確に定義されたタスクをうまく処理するが、複雑なマルチステップタスクではより高価なモデルが必要となる。人間と同様に、最初の部分を忘れてしまう可能性があるからだ。手動での管理は必須であり、現在のエージェントはジュニアのようなもので、その作業はシニアがチェックしなければならない。また、外部モデルへのアクセス遮断リスクにも言及されており、データを個人のナレッジベースに保存することが推奨される。Megaplan社はデータ転送用のMCPサーバーを開発しており、ローカルで動作するGPT 5.6ベースのPetプロジェクトも存在する。