AMD acquiert Taalas : la start-up grave les modèles d'IA dans les puces pour une inférence rapide

AMD acquiert la start-up canadienne Taalas spécialisée dans l'IA, qui conçoit des puces d'inférence dédiées. Fondée en 2023 à Toronto, Taalas est sortie de l'ombre en février. La start-up intègre la structure et les paramètres appris d'un modèle d'IA directement dans la puce, rendant l'inférence extrêmement rapide, mais la puce ne peut exécuter qu'un seul modèle. Une puce de démonstration a atteint plus de 16 000 jetons par seconde et par utilisateur avec Llama3.1-8B, soit plusieurs fois plus rapide que les puces concurrentes actuelles. Google travaillerait également sur une telle puce pour ses modèles Gemini. AMD souhaite intégrer cette technologie dans sa feuille de route pour les accélérateurs et la proposer avec les GPU Instinct comme solution système. Selon Vamsi Boppana, vice-président senior de la division IA d'AMD, cette acquisition renforce le portefeuille d'IA. Le cofondateur de Taalas, Ljubisa Bajic, a déclaré qu'AMD offre l'échelle et la portée nécessaires. L'acquisition est soumise aux approbations réglementaires habituelles.