Säästöä LLM-malleissa: kiinalainen malli alkaa odottamatta kirjoittaa kiinalaisin merkein

Eräs kehittäjä, joka ylläpitää kaksikielistä uutissyötettä käyttävää bottia, joka tekee noin 936 suurten kielimallien (LLM) kutsua päivässä, etsi halvempia malleja OpenRouterista. 17 ilmaisesta mallista vain 3 oli käyttökelpoisia, ja niissä oli ongelmia, kuten hitaus tai JSON-tuen puute. Kehittäjä löysi sitten maksetun kiinalaisen mallin inclusionai/ling-2.6-flash, jonka hinta on 0,010 dollaria miljoonalta syöttötokeneilta, mikä on 8 kertaa halvempi ja 4 kertaa nopeampi kuin aiemmin käytetty deepseek-v4-flash (0,098 dollaria). Käyttöönoton jälkeen botti kuitenkin alkoi tuottaa kiinalaisia merkkejä venäläisissä uutisotsikoissa. Testaus osoitti, että 17 prosenttia lyhyistä tiivistelmistä ja 57 prosenttia pitkistä analyyseistä sisälsi kiinalaista tekstiä. Ratkaisu oli lisätä CJK-regeksin havaitsin: jos kiinalaisia merkkejä löytyi, sama pyyntö lähetettiin uudelleen puhtaalle deepseek-v4-flash-mallille. Korjauksen jälkeen saastuminen laski nollaan (0/8). Kehittäjä oppi myös kolme odottamatonta opetusta: kustannuksia ajavat uutislähteet, ei käyttäjämäärä; ilmaiset mallit lakkaavat toimimasta, kun tilin saldo menee negatiiviseksi, vaikka mallit olisivat ilmaisia; ja puuttuva max_tokens-parametri aiheuttaa valtavia token-varauksia. Lopullinen putkisto käyttää ling-2.6-flashia ensisijaisena, deepseek-v4-flashia varamallina CJK-siivoukseen ja gemma:freea viimeisenä keinona. Kuukausikustannukset laskivat 14,8 dollarista noin 8,6 dollariin, mikä on 42 prosentin säästö odotetun 8-kertaisen sijaan, koska pitkistä analyyseistä maksetaan kaksinkertaisesti.