Waarom zelfs een perfecte LLM agentische systemen niet voorspelbaar maakt
Beijing Academy of Artificial Intelligence (BAAI)
Zelfs als een large language model stopt met hallucineren en deterministisch wordt, kunnen multi-agentsystemen die erop gebaseerd zijn onvoorspelbaar blijven door niet-lineaire interacties tussen agenten. De auteur laat aan de hand van voorbeelden zien dat semantisch vergelijkbare query's tot tegenovergestelde antwoorden kunnen leiden, en dat in agentketens kleine afwijkingen cumuleren en deterministische chaos veroorzaken.
Het artikel onderzoekt de onvoorspelbaarheid van op LLM's gebaseerde multi-agentsystemen, zelfs zonder hallucinaties. De auteur voert een experiment uit met het Qwen Instruct 30B-model bij temperatuur 0: voor acht vergelijkbare vragen over determinisme van LLM's gaf het model twee tegenovergestelde antwoorden, hoewel elke individuele query identiek werd gereproduceerd. De semantische gelijkenis van de vragen, gemeten via de BAAI/bge-m3-metriek, was 0,30–0,39, wat betekent dat ze voor de gebruiker praktisch niet van elkaar te onderscheiden zijn. Vervolgens simuleert de auteur het gedrag van een agentenketen met behulp van een logistische kaart—een niet-lineaire transformatie van toestanden. Met initiële waarden die overeenkomen met semantische gelijkenis, divergeren trajecten chaotisch tegen stap 15, ook al is elke stap deterministisch. Conclusie: de voorspelbaarheid van een enkele agent garandeert niet de voorspelbaarheid van de compositie vanwege niet-lineariteit en foutaccumulatie. Praktische aanbevelingen omvatten het beperken van de lengte van sequentiële ketens, het invoegen van verificatiepunten, het gebruik van parallelle structuren en het testen van de pipeline op semantisch vergelijkbare invoer.
Bron: Habr — хаб ИИ —
origineel