Inferensi LLM pada Klaster Laptop Lama

Sebuah eksperimen dilakukan untuk menguji inferensi LLM terdistribusi pada sebuah kluster yang terdiri dari tiga laptop tua dengan CPU Intel dari generasi yang berbeda: Core i7-4700MQ (Haswell, 2013), Core i5-8265U (Whiskey Lake, 2018), dan Core i3-1115G4 (Tiger Lake, 2020), dengan total RAM 52 GB. Perangkat lunak yang digunakan adalah llama.cpp (build b10069) dengan server RPC di setiap node, dan node-node tersebut terhubung melalui Ethernet gigabit. Model yang diuji adalah Llama-3.2-1B-Instruct, Llama-3.1-8B-Instruct, Qwen2.5-32B-Instruct (semuanya Q4_K_M), dan gpt-oss-20b (MoE). Untuk model 1B, kluster (i3+i5) menghasilkan kecepatan 22,5 token per detik (t/s) untuk generasi token, dibandingkan dengan 29,2 t/s pada node tunggal terbaik (i3), yaitu perlambatan sebesar 23%. Untuk model 8B, kluster hampir setara dengan node tunggal (4,6 vs 4,9 t/s), tetapi pemrosesan prompt hampir 3 kali lebih cepat (10,9 vs 3,9 t/s). Untuk model 32B, yang tidak muat di node tunggal mana pun, kluster mencapai 1,1 t/s dibandingkan dengan 0,3 t/s pada node dengan swapping, peningkatan sebesar 268%. Dengan model MoE gpt-oss-20b, yang juga tidak muat di satu node, kluster memberikan generasi yang stabil 8,0-8,1 t/s dan evaluasi prompt 15,4-15,9 t/s, dibandingkan dengan kinerja node tunggal yang tidak stabil. Kesimpulannya adalah bahwa inferensi terdistribusi hanya dibenarkan ketika model tidak muat dalam satu node; jika tidak, node tunggal yang cepat lebih baik. Selain itu, pemrosesan prompt mendapat manfaat dari paralelisme, sedangkan generasi token tidak, dan node yang lemah dapat menjadi hambatan bagi kluster.