Tidak Semua Perlu LLM: Boosting, Embeddings, dan Aturan Menang di Produksi

Pada konferensi UWDC 2026 di Yekaterinburg, diadakan diskusi tentang pilihan antara Large Language Models (LLM), pembelajaran mesin (ML) klasik, dan pengembangan tradisional. Para peserta—Kamil Shakirov (AI Engineer di DAR), Nikita Ovchinnikov (ML Engineer di RUTUBE), dan Yan Anisimov (Tech Lead DS/DS+ di Yandex Practicum)—sepakat bahwa bisnis seringkali tidak membutuhkan model universal, melainkan sistem yang secara efektif menyelesaikan masalah spesifik. ML klasik unggul dalam hal prediktabilitas, determinisme, dan kemudahan validasi: model dapat diuji dengan metrik yang dapat dipahami oleh bisnis. Di sisi lain, LLM memberikan jawaban yang mengesankan tetapi berhalusinasi, memerlukan pemantauan terus-menerus dan pembaruan setiap tiga bulan, serta biaya inferensinya mahal. Dalam praktiknya, arsitektur hibrida dengan aturan dan heuristik di tingkat bawah, ML di tingkat menengah, dan LLM di tingkat atas dapat mengurangi biaya dan meningkatkan kualitas. Validasi hasil LLM tetap menjadi tantangan besar, memerlukan pelabelan manual dan alat tambahan. Para ahli mencatat bahwa tidak tepat untuk mempertentangkan ML dengan LLM—setiap pendekatan cocok untuk tugasnya masing-masing.