Gratis sortering van de OpenClaw-repository met lokale AI-modellen

De auteurs van de Hugging Face-blog beschreven hoe ze een realtime systeem bouwden voor het sorteren van taken en pull requests (PR's) voor de OpenClaw-repository, met behulp van de lokale open-weight modellen Gemma 4 26B en Qwen 3.6 35B in een agentframework genaamd Pi. Het idee ontstond nadat Anthropic zijn nieuwste model Claude Fable 5 had verwijderd, waarmee werd bevestigd dat closed-source modellen op elk moment kunnen verdwijnen. Het systeem draait op een lokale NVIDIA GB10 met 128 GB unified memory. Voor de classificatie wordt een agent gebruikt die de titel, de body en een samenvatting van de PR ontvangt en vervolgens alleen read-only commando's kan uitvoeren via reposhell (een beperkte bash) of een uiteindelijke JSON met het resultaat kan aanroepen. Dit beschermt tegen promptinjecties. De orkestratie is gebouwd op gitcrawl voor een lokale mirror en localpager voor de takenwachtrij. Tests op 330 issues en PR's toonden aan: Gemma haalt een F1-score van 0,800 met een verwerkingstijd van 1,41 seconden per regel en 402,6 output tokens per seconde, Qwen een F1 van 0,824 met 13,51 seconden per regel en 145,3 tokens per seconde, en DeepSeek-V4-Flash (284B) een F1 van 0,811, maar 144 seconden per regel. Het aantal fout-positieven bij Gemma was 227, bij Qwen 106 en bij DeepSeek 30. De auteurs merken op dat de nauwkeurigheid wordt verbeterd door NVFP4-kwantificering op Blackwell en optimalisaties van vLLM, en dat de kosten neerkomen op alleen elektriciteit.