Kuinka vähentää LLM-kustannuksia 70 kertaa: kokemus siirtymisestä Claude Sonnetista Qwen 3.5 Flashiin
Anthropic
Alibaba/Qwen
DeepSeek
JobPath siirtyi kalliista Claude Sonnetista halpaan Qwen 3.5 Flashiin työpaikkakorttien luomisessa, leikaten kuukausikustannuksia noin 2000 dollarista noin 30 dollariin, kun laatu laski hieman 4,48:sta 4,06:een asteikolla 1-5. Artikkeli kertoo valinnasta arvioinnin avulla sokean tuomarin avulla, halpojen mallien ongelmista (tyhjät vastaukset, tyyppiristiriidat, kenttien kirjoitusvirheet) sekä virheenkäsittelyopetuksista, joihin sisältyy laskutusvirhe, joka tuhlasi 16 000 kutsua yhden yön aikana.
JobPath käytti aluksi Claude Sonnetia jäsentääkseen raa'at työpaikkailmoitukset jäsennetyiksi korteiksi, mikä maksoi noin 2000 dollaria kuukaudessa. Kustannusten leikkaamiseksi he arvioivat vaihtoehtoja käyttämällä 50 todellisen työpaikan arviointijoukkoa, jonka Opus arvioi sokkona. He valitsivat Qwen 3.5 Flashin, jonka hinta on 0,0007 dollaria ilmoitusta kohti (30 dollaria kuukaudessa), ja laadun laskiessa 4,48:sta 4,06:een. Halvat mallit osoittivat kurinpito-ongelmia: tyhjiä työkalujen kutsuja HTTP 200 -vastauksella, vääriä kenttätyyppejä, kirjoitusvirheitä kenttien nimissä ja sekaannuksia palkkatiedoissa. He lisäsivät suojauskerroksen: uudelleenyritykset, tyyppimuunnokset, palkkakattojen tarkistukset ja osittaisen kortin varatoiminto. Kriittinen opetus oli, että laskutusvirheiden tulisi pysäyttää koko erä välittömästi; kerran kuollut avain aiheutti 16 000 turhaa kutsua yön aikana. Kriittisissä käyttäjätoiminnoissa he käyttävät fail-closed-menetelmää varapalveluntarjoajien kanssa. Interaktiiviset ja lippulaivatoiminnot pysyvät premium-malleissa. Keskimääräiset kuukausikustannukset laskivat noin 30 dollariin ilman käyttäjävalituksia.
Lähde: Habr — хаб NLP —
Alkuperäinen