Kontekstisuunnittelu: mitä se on, miten työskennellä LLM-agentin kontekstin kanssa ja miksi siitä maksetaan

Kontekstitekniikka on joukko strategioita optimaalisen kontekstin keräämiseksi ja ylläpitämiseksi suurten kielimallien (LLM) päättelyssä, missä optimaalinen konteksti on pienin hyödyllinen joukko tunnuksia. Se eroaa kehotesuunnittelusta (prompt engineering), joka käsittelee vain ohjeita, kun taas kontekstitekniikka hallitsee kaikkea, mitä malli saa ohjeen lisäksi: historiaa, asiakirjoja, työkaluja, muistia ja tilaa. RAG (Retrieval-Augmented Generation) tuo ulkopuolista tietoa, MCP (Model Context Protocol) standardoi yhteydet tietoihin ja työkaluihin, ja kontekstitekniikka päättää, miten tämä kaikki kootaan kontekstiksi agentin seuraavaa vaihetta varten. Agentin konteksti koostuu useista kerroksista: käyttäjän kysely, järjestelmän kehote, työkalut, esimerkkitapaukset, RAG:sta saatu tieto, viestihistoria ja työkalujen kutsut, muisti ja nykyinen tila (luonnospaperi). Vaikka nykyaikaisilla suurilla kielimalleilla on suuret konteksti-ikkunat, Chroman raportti ”Context Rot” osoitti, että kun käytetty konteksti kasvaa, laatu voi heiketä jopa yksinkertaisissa tehtävissä. Drew Breunig tunnisti neljä tyypillistä kontekstin epäonnistumisskenaariota: kontekstimyrkytys (virhe pääsee kontekstiin ja toistuu), kontekstihäiriö (tarpeellinen tieto katoaa epäolennaisten tietojen sekaan), kontekstisekaannus (malli joutuu hämilleen samankaltaisten työkalujen/asiakirjojen välillä) ja kontekstiyhteentörmäys (ristiriitainen tieto ilman prioriteettisääntöjä). LangChain ehdottaa neljää toimenpidettä kontekstin hallintaan: kirjoita (tallenna tärkeä tieto ulkopuoliseen tilaan), valitse (valitse olennainen sisältö), pakkaa (tiivistä) ja eristä (siirrä erilliseen kontekstiin).