AI-rootoorzaakanalyse verschuift van modelredenering naar contextengineering

Een groeiend aantal observability-engineers is van mening dat de redeneercapaciteit van grote taalmodellen niet langer de bottleneck vormt voor AI-ondersteunde root cause analysis (RCA); het meer urgente probleem is de verwerkingspijplijn die bepaalt welke data aan het model wordt doorgegeven. De meeste AI-RCA-werkzaamheden vallen in twee categorieën: agent-gebaseerde ontwerpen die het model tools geven om autonoom te onderzoeken, en deterministische ontwerpen die vooraf correlaties tussen signalen vaststellen en een voorverpakt geheel van context bieden. Coroot's onderzoek, geleid door engineer Nikolay Sivko, splitst het proces in twee taken: redeneren over gepresenteerde data en het 'dataverzamelingsframework' dat bepaalt welke data naar het model gaat. Coroot's pijplijn correleert signalen tot bevindingen en geeft deze als één gerichte context aan het model, waarbij agentloops worden vermeden, zodat fouten aan het model zelf kunnen worden toegeschreven. Sivko bouwde een scenario met Chaos Mesh NetworkChaos om latentie te injecteren tussen een directoryservice en de bijbehorende Postgres-database, wat leidde tot trage queries en 502-fouten, met misleidende signalen. Hij testte elf modellen met dezelfde prompt (ongeveer 9800 tokens) en vroeg elk model om de hoofdoorzaak, causale keten en directe oplossing te geven. Frontier-modellen Claude Opus 4.8, GPT-5.5 en Gemini 3.1 Pro slaagden, waarbij ze het experiment identificeerden en de noodzaak om het en de cronjob ervan te verwijderen. Onder de kleinere modellen was Gemma 4 31B het enige zelf-gehoste model dat de hoofdoorzaak identificeerde, terwijl de grotere Qwen3.6 35B en Qwen3 Coder Next faalden. Agent-gebaseerde benaderingen hebben voordelen, zoals het opmerken van onverwachte signalen, maar ze lijden in productie aan problemen met debugbaarheid, zoals blijkt uit de cases van ZenML en Incident.io. Veel beoefenaars geven nu de voorkeur aan deterministische workflows met een smalle LLM-stap vanwege betrouwbaarheid en lagere tokengerelateerde kosten. Sivko merkt op dat één korte oproep aan frontier-modellen slechts een paar cent kost, omdat de correlatieanalyse vóór de oproep wordt gedaan; hij gelooft dat het redeneergedeelte 'in wezen is opgelost' en dat de huidige focus ligt op het voorbereiden van de juiste en compacte context. Dit sluit aan bij de bredere trend van context-engineering, zoals de richtlijnen van Anthropic, LangChain en Mezmo benadrukken, die het belang van een minimale, hoog-signaal contextset voor op LLM gebaseerd redeneren en observability onderstrepen.