기업 AI의 진짜 도전 과제는 더 이상 모델이 아니라 운영이다

2026年6月企业AI领域的重大转变并非又一个LLM的到来，而是MLOps作为代理运维学科的出现，其面临四大关键挑战：业务上下文、治理、可观测性和单位推理成本。Google Cloud推出了Gemini Enterprise Agent Platform，用于构建、扩展、治理和优化代理，而微软在Build 2026大会上强调，瓶颈并非模型能力，而是为代理提供连贯的数据上下文。AWS的Bedrock AgentCore专注于运营利用，使用生产痕迹来改进系统，并强调静默失败的风险。Databricks则认为，代理循环只是可见的1%，其余99%涉及部署、安全、评估和上下文。MLOps技术栈正在演进，包括代理运行时、内存、身份、网关和追踪。Google的Agent Identity采用SPIFFE标准进行加密身份验证，AWS的AgentCore Gateway将现有API与Model Context Protocol集成。可观测性现在包括定性评估，如MLflow 3和AWS的AgentCore Observability所示。基础设施正变得更加平台导向，CNCF的Inference Gateway达到GA（正式可用）状态。FinOps正在变化：Flexera的《2026云现状报告》指出，58%的组织使用公有云GenAI服务，73%采用混合云，49%使用单位经济。代理系统除了模型API之外还会产生成本，包括网关调用、内存和可观测性。在欧洲，《云与AI发展法案》于6月3日提出，《AI法案》从2026年8月2日起全面适用。欧洲公司正在分散供应商，以减少依赖并解决主权问题。