Automatiseren van Text-to-SQL in WMS: Kiezen voor een Lokale LLM Zonder GPU

Een ontwikkelaar bij Aerosib-C heeft een taak geïmplementeerd om facturatie voor logistieke diensten te automatiseren op basis van gegevens uit het WMS (Warehouse Management System, ofwel magazijnbeheersysteem) en handheld-terminals. Er werd gekozen voor lokale LLM-modellen om SQL-query's te genereren op basis van tekstbeschrijvingen, om te voorkomen dat gevoelige bedrijfsgegevens aan derden worden overgedragen. De tests werden uitgevoerd op een Linux Debian-server met 30 GB RAM en zonder videoversnellers. Van de zeven geteste modellen (deepseek-coder-v2:16b, gemma4:26b, qwen3-coder:30b, qwen3:14b, qwen3:30b, qwen3.5:9b) genereerden er slechts drie correcte SQL-code: gemma4:26b, qwen3:14b (suboptimaal) en qwen3:30b. De winnaar was gemma4:26b, ondanks een zeer lange responstijd (meer dan 21 minuten). Opgemerkt werd dat gespecialiseerde coder-modellen slechter presteerden dan redeneermodellen. De auteur is van plan een expertsysteem te creëren dat diensten in groepen classificeert, om het selecteren van tekstbeschrijvingen voor query's te vereenvoudigen. Het artikel besluit met de nadruk dat AI een hulpmiddel is dat moet worden beheerst en creatief toegepast, zonder onbegrijpelijke code te genereren.