古いノートパソコンのクラスタ上での LLM 推論

3台の古いノートパソコン（それぞれ異なる世代のIntel CPUを搭載）で構成されたクラスタ上で、分散LLM推論をテストする実験が行われた。使用されたのは、Core i7-4700MQ（Haswell、2013年）、Core i5-8265U（Whiskey Lake、2018年）、Core i3-1115G4（Tiger Lake、2020年）で、合計52GBのRAMを備えている。ソフトウェアはllama.cpp（ビルドb10069）を使用し、各ノードにRPCサーバーを配置し、ノード間はギガビットイーサネットで接続した。テストしたモデルは、Llama-3.2-1B-Instruct、Llama-3.1-8B-Instruct、Qwen2.5-32B-Instruct（すべてQ4_K_M）、およびgpt-oss-20b（MoE）である。1Bモデルでは、クラスタ（i3+i5）は22.5 t/sのトークン生成速度を示し、最速の単一ノード（i3）の29.2 t/sに対し、23%の遅延となった。8Bモデルでは、クラスタは単一ノードとほぼ同等（4.6 t/s対4.9 t/s）であったが、プロンプト処理はほぼ3倍高速（10.9 t/s対3.9 t/s）だった。32Bモデルは単一ノードには収まらなかったが、クラスタでは1.1 t/sを達成し、スワップを使用するノードの0.3 t/sと比較して268%の改善となった。MoEモデルであるgpt-oss-20bも単一ノードには収まらなかったが、クラスタでは安定した8.0-8.1 t/sの生成速度と15.4-15.9 t/sのプロンプト評価速度を示し、不安定な単一ノードの性能と比較された。結論として、分散推論はモデルが単一ノードに収まらない場合にのみ正当化される。それ以外の場合、単一の高速ノードの方が優れている。また、プロンプト処理は並列処理の恩恵を受けるが、トークン生成は受けない。さらに、弱いノードがクラスタ全体のボトルネックになる可能性がある。