Mistral AI Ingenieure entdecken echte Ursache für Speicherleck in vLLM mit BPFtrace

Das Team von Mistral AI untersuchte ein vermutetes Speicherleck in vLLM während des Pre-Production-Tests von Disaggregated Serving mit ihrem Spitzenmodell Mistral Medium 3.1. Das Leck äußerte sich unter bestimmten Bedingungen als stetiger Anstieg des Systemspeichers um 400 MB pro Minute: mit vLLM, Mistral Medium 3.1 und aktiviertem Graph Compiling, nur auf der Decode-Seite des Prefill/Decode-Disaggregated-Setups unter Verwendung von NIXL. Anfängliche Python-Tools wie Memray und Guppy 3 zeigten kein Leck, und Heaptrack offenbarte nur eine Diskrepanz beim Spitzen-RSS. Durch die Verwendung von pmap zur Überwachung von /proc/<pid>/maps beobachteten sie wachsende anonyme Speicherzuordnungen mit wechselnden Adressen, charakteristisch für mremap oder wiederholte mmap-/munmap-Zyklen. Um die genaue Ursache zu ermitteln, verwendeten sie BPFtrace zur Verfolgung von Systemaufrufen, die ergaben, dass die Zuweisungen über direkte mmap-Aufrufe durch den Syscall-Wrapper von glibc (syscall+29) erfolgten. Dies zeigte, dass das Leck außerhalb des Heap-Managements lag und eine Low-Level-Verfolgung zur Identifizierung erforderte.