Kontekstin pakkaamisen kehitys tekoälyagenttien toiminnassa

AI-agentit ovat viestinvaihdon sykli käyttäjän ja kielimallin (LLM) välillä, jossa malli voi kutsua työkaluja tai MCP-järjestelmiä. Jokainen vuorovaikutus lisää keskusteluhistoriaan, joka lähetetään tyypillisesti kokonaisuudessaan seuraavaan mallikutsun. Vaikka konteksti-ikkunat ovat suuria, ne eivät ole rajattomat, ja suorituskyky heikkenee suurten, huonosti jäsenneltyjen historioiden kanssa. Klassinen tutkimus 'Lost in the Middle' osoittaa U-muotoisen käyrän: mallit käyttävät pitkien syötteiden alkua ja loppua paremmin kuin keskiosaa. Artikkeli jäljittää kontekstin pakkaamisen lähestymistapojen kehitystä: yksinkertainen hännän katkaisu (liukuva ikkuna) LangChainissa trim_messages-toiminnon avulla; vanhojen viestien tiivistäminen yhteenvetolohkoksi SummarizationMiddleware-komponentin avulla create_agentissa; ja sitten ensimmäisten N viestin ja tuoreen hännän suojaaminen samalla kun keskiosa pakataan, kuten nähdään Hermes Agentissa ja OpenRouterin keskeltä ulospäin -pakkauksessa. Uusin lähestymistapa erottaa tallennetun historian työkontekstista: koko historia säilytetään ulkoisesti (esimerkiksi tiedostossa), mallikutsun saa näkymän, joka sisältää tuoreen hännän ja yhteenvedon, ja agentille annetaan työkaluja, kuten read_file tai grep, jotta se voi hakea yksityiskohtia koko historiasta. LangChainin Deep Agents -kirjasto toteuttaa tämän SummarizationMiddleware-komponentissaan, vaikka nimi on hämmentävästi jaettu perusmiddlewaren kanssa. Tämä kehitys on osa laajempaa kontekstisuunnittelun trendiä, joka erottaa sen, mitä agentti tietää (koko historia, työkalujen tulokset, taidot), siitä, mitä seuraavaan mallikutsun sisällytetään.