Agent dollarilla: Hermes Agentin ja DeepSeek V4 Flash -yhdistelmän taloustiede

Elokuun alussa X:ssä levisi kuvakaappaus hallintapaneelista, jossa näkyi satoja miljoonia käsiteltyjä tokeneita ja hieman yli dollarin suuruinen lasku, joka oli peräisin avoimen Hermes Agentin käytöstä DeepSeek V4 Flash -mallilla. Nous Researchin MIT-lisenssillä kehittämä Hermes Agent toimii minkä tahansa OpenAI-yhteensopivan päätepisteen kanssa ja sisältää suljetun oppimissilmukan, joka tallentaa opitut taidot Markdown-tiedostoihin. DeepSeek V4 Flash, joka on ollut julkisessa betavaiheessa 31. heinäkuuta lähtien, käyttää samaa arkkitehtuuria kuin huhtikuun esikatselu, mutta sen agenttitoimintoja on parannettu hienosäädöllä. Suurin kustannussäästö ei synny alhaisesta perushinnasta, vaan automaattisesta etuliitevälimuistista: toistuvat kehote-etuliitteet laskutetaan kymmeniä kertoja halvemmalla hinnalla. Agenttisilmukka sopii tähän mekaniikkaan lähes täydellisesti, koska jokainen kutsu lähettää saman järjestelmäkehoteen ja historian uudelleen vain muutamalla lisätyllä rivillä. Säästöt kuitenkin katoavat, jos kehotteen otsikossa olevat elementit muuttuvat, kuten aikaleimat, istuntotunnisteet tai dynaamisesti uudelleenjärjestetyt työkaluluettelot. Toimittaja väittää, että pienempi malli ylittää suuremman esikatselumallin agenttivertailuarvoissa, mutta suosittelee V4-Pro-mallia raskaaseen päättelyyn. Ruuhka-aikojen lisämaksut on ilmoitettu, mutta ne eivät ole vielä voimassa, ja hybridireititys, jossa siirrytään Pro-malliin, nollaa välimuistin. Artikkelissa annetaan hinnoitteluhinnat, luetellaan yleisiä välimuistin rikkovia tekijöitä ja annetaan neuvoja suunnitteluun ja toiminnallisiin näkökohtiin, kuten nopeusrajoituksiin ja tietoturvakäytäntöihin.