Mac Mini M4 Pro ja OpenClaw: Paikallisen LLM-päätelmän testaus

Kirjoittaja testaa paikallista LLM-päätelmää Mac mini M4 Prossa, jossa on 48 gigatavua keskusmuistia, käyttäen OpenClaw'ta tekoälyagenttina ja LM Studiota mallien ajamiseen. OpenClaw on itse isännöity yhdyskäytävä sovellusten ja pikaviestimien yhdistämiseen, ja se mahdollistaa tekoälyagenttien integroinnin. Testaukseen valittiin kolme mallia: google/gemma-4-26b-a4b-qat (MLX, 4-bittinen), qwen/qwen3.6-35b-a3b (GGUF, Q4_K_M) ja google/gemma-4-31b (GGUF, Q4_K_M). Vasteajat olivat vastaavasti 4, 3 ja 12 sekuntia. Kysyttäessä Selecteliin liittyviä uutisia qwen3.6-35b-a3b-malli antoi yksityiskohtaisimman vastauksen 60 sekunnissa, gemma-4-26b-a4b-qat tuotti analyyttisen vastauksen 60 sekunnissa, ja gemma-4-31b tarjosi lyhyen vastauksen 300 sekunnissa. Synteettisten Anubis-vertailuarvojen mukaan gemma-4-26b-a4b-qat tuottaa 59 tokenia sekunnissa energiankulutuksen ollessa 0,38 joulea tokenia kohti, qwen3.6-35b-a3b tuottaa 50 tokenia sekunnissa ja 0,45 joulea tokenia kohti, kun taas gemma-4-31b tuottaa vain 10 tokenia sekunnissa ja 2,73 joulea tokenia kohti. Grafiikkasuorittimen käyttöaste oli 99 prosenttia, kun taas keskussuorittimen käyttöaste oli alle 10 prosenttia. MoE-mallit (gemma-4-26b ja qwen3.6-35b) ovat merkittävästi nopeampia ja energiatehokkaampia kuin tiivis gemma-4-31b-malli.