De CUDA à MLX : comment K-Search apporte des décennies d'expertise en kernels à Apple Silicon

Des chercheurs du UC Berkeley Sky Lab se sont appuyés sur K-Search, un cadre évolutif de recherche de noyaux qui utilise l'IA pour optimiser les noyaux GPU, et l'ont étendu avec un backend pour le framework MLX d'Apple. Ils ont développé une nouvelle couche de traduction structurée de CUDA vers MLX qui convertit les noyaux CUDA existants en noyaux de haute qualité pour Apple Silicon. Cette approche a atteint un facteur d'accélération de 0,97x par rapport au noyau Attention natif de MLX et jusqu'à 20x d'accélération du préremplissage par rapport à l'implémentation communautaire mlx-lm sur le noyau Mamba SSM. K-Search utilise une boucle d'optimisation itérative où un LLM raisonne sur les optimisations, génère des noyaux candidats, les compile et les évalue sur du matériel réel. La couche de traduction comprend des tables de correspondance de concepts, des indices spécifiques à MLX et des assertions réutilisables qui préservent les comportements experts des noyaux. Ces travaux démontrent que la recherche de noyaux pilotée par l'IA peut transférer des connaissances d'optimisation entre écosystèmes matériels sans repartir de zéro.