AI 근본 원인 분석, 모델 추론에서 컨텍스트 엔지니어링으로 전환

점점 더 많은 옵저버빌리티 엔지니어들이 대규모 언어 모델의 추론 능력이 더 이상 AI 지원 근본 원인 분석(RCA)의 병목 현상이 아니라고 생각합니다. 더 시급한 문제는 어떤 데이터를 모델에 전달할지 결정하는 처리 파이프라인입니다. 대부분의 AI RCA 작업은 두 가지 범주로 나뉩니다. 모델이 자율적으로 조사할 수 있는 도구를 제공하는 에이전트 기반 설계와, 신호 간의 상관 관계를 미리 설정하고 사전 패키징된 컨텍스트를 제공하는 결정적 설계입니다. 엔지니어 Nikolay Sivko가 이끄는 Coroot의 연구는 이 프로세스를 두 가지 작업으로 나눕니다. 제시된 데이터에 대한 추론과, 모델에 전달할 데이터를 결정하는 '데이터 수집 프레임워크'입니다. Coroot의 파이프라인은 신호를 상관 관계로 연결하여 단일 초점 컨텍스트로 모델에 전달함으로써 에이전트 루프를 피하고, 오류를 모델 자체에 귀속시킬 수 있게 합니다. Sivko는 Chaos Mesh NetworkChaos를 사용하여 디렉터리 서비스와 Postgres 데이터베이스 간에 지연을 주입하여 느린 쿼리와 502 오류를 유발하고, 오해의 소지가 있는 신호를 생성하는 시나리오를 구축했습니다. 그는 동일한 프롬프트(약 9800 토큰)로 11개의 모델을 테스트하여 각 모델에 근본 원인, 인과 사슬, 즉각적인 해결책을 제공하도록 요청했습니다. 프런티어 모델인 Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro는 실험을 식별하고 해당 실험과 크론 작업을 삭제해야 한다는 점을 정확히 찾아내 통과했습니다. 소규모 모델 중에서는 Gemma 4 31B가 근본 원인을 식별한 유일한 자체 호스팅 모델이었고, 더 큰 Qwen3.6 35B와 Qwen3 Coder Next는 실패했습니다. 에이전트 기반 접근 방식은 예상치 못한 신호를 포착하는 등의 장점이 있지만, ZenML 및 Incident.io 사례에서 볼 수 있듯이 프로덕션 환경에서 디버깅 문제가 있습니다. 많은 실무자들이 이제 안정성과 낮은 토큰 비용 때문에 좁은 LLM 단계를 포함한 결정적 워크플로를 선호합니다. Sivko는 상관 분석이 호출 전에 수행되므로 프런티어 모델에 대한 단일 짧은 호출 비용이 몇 센트에 불과하다고 지적합니다. 그는 추론 부분은 '본질적으로 해결된' 상태이며 현재는 올바르고 간결한 컨텍스트를 준비하는 데 초점을 맞추고 있다고 생각합니다. 이는 컨텍스트 엔지니어링의 광범위한 추세와 일치하며, Anthropic, LangChain 및 Mezmo의 지침은 LLM 기반 추론 및 옵저버빌리티를 위한 최소한의 고신호 컨텍스트 세트의 중요성을 강조합니다.