Mistral AIエンジニア、BPFtraceを用いてvLLMのメモリリークの真の原因を特定

Mistral AIのチームは、フロンティアモデル「Mistral Medium 3.1」を用いた分離型サービングのプレプロダクションテスト中に、vLLMで疑わしいメモリリークを調査しました。このリークは、特定の条件下、すなわちvLLM、Mistral Medium 3.1、グラフコンパイルを有効にし、NIXLを使用したプリフィル/デコード分離設定のデコード側でのみ、システムメモリが毎分400 MBずつ着実に増加するという形で現れました。MemrayやGuppy 3のような初期のPythonツールではリークは検出されず、HeaptrackではピークRSSの不一致のみが明らかになりました。pmapを使用して/proc/<pid>/mapsを監視したところ、アドレスが変化する匿名メモリマッピングの増加が観察され、これはmremapまたは繰り返しのmmap/munmapサイクルの特徴です。正確な原因を特定するために、BPFtraceを使用してシステムコールをトレースしたところ、割り当てがglibcのsyscallラッパー（syscall+29）を介した直接のmmap呼び出しによって行われていることが判明しました。これにより、リークがヒープ管理の外部で発生しており、特定には低レベルのトレースが必要であることが示されました。