Apakah LLM yang Dihosting Sendiri Dapat Mengungguli Model Cloud? Perbandingan Langsung GLM, Claude, dan GPT

Penulis, seorang pengembang full-stack di Selectel, mengevaluasi apakah LLM sumber terbuka yang dihosting sendiri dapat menyaingi model komersial dalam pengembangan perangkat lunak agen. Mereka berpendapat bahwa dalam proyek perusahaan, keputusan utama adalah konteks apa yang dapat diberikan kepada model, dan baru kemudian model mana yang akan digunakan. Untuk repositori internal tertutup, mereka menggunakan GLM-5.1 dan GLM-5.2 yang dihosting sendiri melalui OpenCode, sementara model eksternal seperti Claude dan GPT digunakan untuk data publik atau yang telah dibersihkan. Dalam tugas integrasi nyata, GLM-5.1 dengan akses langsung ke tiga repositori internal menghasilkan bukti konsep yang berfungsi dalam 1-2 jam dengan keterlibatan insinyur yang minimal, sedangkan Claude Opus 4.7 dan Sonnet 4.6 memerlukan lebih dari dua jam persiapan konteks manual dan tiga jam kerja agen karena kurangnya akses langsung. Dalam tolok ukur sintetis dengan konteks yang identik, GLM-5.1, Claude Opus 4.7, Claude Sonnet 4.6, dan GPT-5.5 xhigh semuanya menyelesaikan siklus tugas penuh; tinjauan silang menemukan bahwa Claude Opus 4.7 memiliki masalah non-kritis paling sedikit (satu), sementara GLM-5.1 memiliki empat ketidaksempurnaan kecil. Penulis menyimpulkan bahwa pengaturan harness yang baik dan akses konteks yang tepat lebih penting daripada pilihan model.