Voiko itse isännöity LLM päihittää pilvimallin? Käytännön vertailu GLM:n, Clauden ja GPT:n välillä

Kirjoittaja, joka on full-stack-kehittäjä Selectelillä, arvioi, voivatko itse ylläpidetyt avoimen lähdekoodin suuret kielimallit (LLM) vastata kaupallisia malleja agenttipohjaisessa ohjelmistokehityksessä. Hän väittää, että yritysprojekteissa ensisijainen päätös on se, mitä kontekstia mallille voidaan antaa, ja vasta sen jälkeen, mitä mallia käytetään. Suljettuihin sisäisiin repositorioihin he käyttävät itse ylläpidettyjä GLM-5.1- ja GLM-5.2-malleja OpenCoden kautta, kun taas ulkoisia malleja, kuten Claudea ja GPT:tä, käytetään julkiseen tai anonymisoituun dataan. Todellisessa integraatiotehtävässä GLM-5.1, jolla oli suora pääsy kolmeen sisäiseen repositorioon, tuotti toimivan proof of concept -ratkaisun 1-2 tunnissa minimaalisella insinöörin osallistumisella, kun taas Claude Opus 4.7 ja Sonnet 4.6 vaativat yli kaksi tuntia manuaalista kontekstin valmistelua ja kolme tuntia agentin työtä, koska niillä ei ollut suoraa pääsyä. Synteettisessä vertailussa, jossa konteksti oli identtinen, GLM-5.1, Claude Opus 4.7, Claude Sonnet 4.6 ja GPT-5.5 xhigh suorittivat kaikki täyden tehtäväkierron; ristiinarvioinnissa Claude Opus 4.7:llä oli vähiten (yksi) kriittisiä ongelmia, kun taas GLM-5.1:ssä oli neljä pientä puutetta. Kirjoittaja päättelee, että hyvin konfiguroitu valjastus ja asianmukainen kontekstin pääsy ovat tärkeämpiä kuin mallin valinta.