Inferenz großer Sprachmodelle auf einem Cluster alter Laptops

Es wurde ein Experiment durchgeführt, um verteilte LLM-Inferenz auf einem Cluster aus drei alten Laptops mit Intel-CPUs verschiedener Generationen zu testen: Core i7-4700MQ (Haswell, 2013), Core i5-8265U (Whiskey Lake, 2018) und Core i3-1115G4 (Tiger Lake, 2020), insgesamt 52 GB RAM. Die verwendete Software war llama.cpp (Build b10069) mit einem RPC-Server auf jedem Knoten, und die Knoten waren über Gigabit-Ethernet verbunden. Die getesteten Modelle waren Llama-3.2-1B-Instruct, Llama-3.1-8B-Instruct, Qwen2.5-32B-Instruct (alle Q4_K_M) und gpt-oss-20b (MoE). Für das 1B-Modell lieferte der Cluster (i3+i5) 22,5 Token pro Sekunde bei der Tokengenerierung gegenüber 29,2 Token pro Sekunde auf dem besten Einzelknoten (i3), was einer Verlangsamung von 23 % entspricht. Beim 8B-Modell lag der Cluster fast gleichauf mit dem Einzelknoten (4,6 gegenüber 4,9 Token pro Sekunde), aber die Promptverarbeitung war fast dreimal schneller (10,9 gegenüber 3,9 Token pro Sekunde). Beim 32B-Modell, das in keinen einzelnen Knoten passte, erreichte der Cluster 1,1 Token pro Sekunde gegenüber 0,3 Token pro Sekunde auf einem Knoten mit Swapping, eine Verbesserung von 268 %. Mit dem MoE-Modell gpt-oss-20b, das ebenfalls nicht auf einen einzelnen Knoten passte, lieferte der Cluster stabile 8,0–8,1 Token pro Sekunde bei der Generierung und eine Prompt-Auswertung von 15,4–15,9 Token pro Sekunde, verglichen mit instabiler Einzelknotenleistung. Die Schlussfolgerung ist, dass verteilte Inferenz nur dann gerechtfertigt ist, wenn das Modell nicht in einen einzelnen Knoten passt; andernfalls ist ein einzelner schneller Knoten besser. Außerdem profitiert die Promptverarbeitung von Parallelisierung, während die Tokengenerierung dies nicht tut, und jeder schwache Knoten kann den Cluster zum Engpass machen.