LLM लागत को 70 गुना कम कैसे करें: Claude Sonnet से Qwen 3.5 Flash पर माइग्रेट करने का अनुभव

जॉबपाथ ने शुरू में कच्ची नौकरी लिस्टिंग को संरचित कार्ड्स में बदलने के लिए क्लाउड सॉनेट का उपयोग किया, जिसकी लागत लगभग $2000 प्रति माह थी। लागत कम करने के लिए, उन्होंने 50 वास्तविक रिक्तियों के एक मूल्यांकन सेट ('ईवैल सेट') का उपयोग करके विकल्पों का मूल्यांकन किया, जिसका निर्णय ओपस द्वारा ब्लाइंडली किया गया। उन्होंने क्यूवेन 3.5 फ्लैश को चुना, जिसकी प्रति रिक्ति लागत $0.0007 ($30/माह) है, जिसमें गुणवत्ता में 4.48 से 4.06 की गिरावट आई। सस्ते मॉडलों में अनुशासन संबंधी समस्याएं दिखीं: HTTP 200 के साथ खाली टूल कॉल, गलत फील्ड प्रकार, फील्ड नामों में टाइपो और वेतन संबंधी भ्रम। उन्होंने एक सुरक्षा परत जोड़ी: रीट्राईज़, टाइप कोएरशन, वेतन कैप चेक और आंशिक कार्ड फॉलबैक। एक महत्वपूर्ण सबक यह था कि बिलिंग एरर को तुरंत पूरे बैच को रोक देना चाहिए; एक बार एक मृत की ('डेड की') के कारण रात भर में 16,000 व्यर्थ कॉल हुईं। महत्वपूर्ण उपयोगकर्ता कार्रवाइयों के लिए, वे फेल-क्लोज्ड विधि का उपयोग करते हैं जिसमें फॉलबैक प्रदाता होते हैं। इंटरैक्टिव और फ्लैगशिप फीचर प्रीमियम मॉडल पर बने रहते हैं। औसत मासिक लागत घटकर ~$30 हो गई, जिसमें कोई उपयोगकर्ता शिकायत नहीं आई।