AIのためのデータ準備状況を評価する方法：Snowflakeの6Cフレームワーク

ほとんどのAIプロジェクトはモデルではなくデータが原因で失敗します。従来の分析では質の低いデータが誤ったグラフを生むだけですが、AIでは同じ欠陥がインデックスに埋め込まれ、検索され、自信満々だが誤った回答を生成し、誤った行動につながる可能性があります。システムの自律性が高まるにつれて、エラーの影響は増大します。データの準備状況を体系的に評価するために、「6C」フレームワークが提案されています：クリーン、文脈的、消費可能、最新、相関、コンプライアント。これら6つの要素は、検索拡張生成（RAG）、エージェント、特徴量サービス、モデルトレーニングといった異なるワークロードタイプごとに詳細化されています。Snowflakeは、品質管理のためのData Metric Functions、文脈のためのSemantic Views、ベクトル検索のためのCortex Search、特徴量保存のためのFeature Store、最新性のためのStreams and Tasks、相関性のためのTime TravelとACCESS_HISTORY、コンプライアンスのためのHorizon Catalogといったツールを通じて、6C要件を実装しています。このフレームワークは、特定のワークロードシナリオ（例：サービスまたはトレーニング）に対して、60以上のメトリクスを使用してデータ評価を実行するオープンソースのエージェントスキルとしてパッケージ化されています。エージェントは読み取り専用アクセス権を持ち、データの変更には明示的な承認が必要です。評価例では、Clean要素は合格、Contextual要素は不合格（セマンティックドキュメンテーションのスコアが低い）でした。プロジェクトリポジトリはGitHubにあります：github.com/Snowflake-Labs/ai-ready-data。