Von CUDA zu MLX: Wie K-Search jahrzehntelange Kernel-Expertise auf Apple Silicon bringt

Forscher des UC Berkeley Sky Lab haben auf K-Search, einem evolutionären Kernel-Such-Framework, das KI zur Optimierung von GPU-Kernels nutzt, aufgebaut und um ein Backend für Apples MLX-Framework erweitert. Sie entwickelten eine neuartige strukturierte CUDA-zu-MLX-Übersetzungsschicht, die vorhandene CUDA-Kernels in hochwertige Kernels für Apple Silicon umwandelt. Der Ansatz erreichte eine 0,97-fache Beschleunigung im Vergleich zum nativen MLX-Attention-Kernel und bis zu 20-fache Prefill-Beschleunigung gegenüber der Community-Implementierung mlx-lm auf dem Mamba-SSM-Kernel. K-Search verwendet eine iterative Optimierungsschleife, in der ein Large Language Model (LLM) über Optimierungen nachdenkt, Kandidaten-Kernels generiert, diese kompiliert und auf echter Hardware benchmarkt. Die Übersetzungsschicht umfasst Konzeptzuordnungstabellen, MLX-spezifische Hinweise und wiederverwendbare Assertions, die das Verhalten von Experten-Kernels bewahren. Die Arbeit zeigt, dass KI-gesteuerte Kernel-Suche Optimierungswissen über Hardware-Ökosysteme hinweg transferieren kann, ohne bei null anfangen zu müssen.