Mistral AI-ingenieurs ontdekken echte oorzaak van geheugenlek in vLLM met BPFtrace

Het team van Mistral AI onderzocht een vermoedelijk geheugenlek in vLLM tijdens pre-productietesten van gedisaggregeerde serving met hun voorhoedemodel Mistral Medium 3.1. Het lek uitte zich als een gestage toename van het systeemgeheugen met 400 MB per minuut onder specifieke omstandigheden: met vLLM, Mistral Medium 3.1 en ingeschakelde graafcompilatie, alleen aan de decodekant van de Prefill/Decode-gedisaggregeerde opstelling met NIXL. Initiële Python-tools zoals Memray en Guppy 3 toonden geen lek, en Heaptrack onthulde alleen een discrepantie in piek-RSS. Door pmap te gebruiken om /proc/<pid>/maps te monitoren, zagen ze groeiende anonieme geheugenmappingen met veranderende adressen, kenmerkend voor mremap of herhaalde mmap/munmap-cycli. Om de exacte oorzaak te achterhalen, gebruikten ze BPFtrace om systeemaanroepen te traceren, waaruit bleek dat de toewijzingen plaatsvonden via directe mmap-aanroepen door de syscall-wrapper van glibc (syscall+29). Dit toonde aan dat het lek buiten het heapbeheer lag, wat laagniveau-tracering vereist om het te identificeren.