AMD übernimmt Taalas: Startup brennt KI-Modelle in Chips für schnelle Inferenz

AMD übernimmt das kanadische KI-Start-up Taalas, das spezialisierte Inferenzchips entwickelt. Taalas wurde 2023 in Toronto gegründet und trat im Februar aus der Stealth-Phase hervor. Das Start-up bettet die Struktur und die gelernten Parameter eines KI-Modells direkt in den Chip ein, wodurch die Inferenz extrem schnell wird, aber der Chip kann nur ein einziges Modell ausführen. Ein Demo-Chip erreichte mit Llama3.1-8B mehr als 16.000 Tokens pro Sekunde pro Benutzer, mehrere Male schneller als aktuelle konkurrierende Chips. Berichten zufolge arbeitet auch Google an einem solchen Chip für seine Gemini-Modelle. AMD will die Technologie in seine Beschleuniger-Roadmap integrieren und sie zusammen mit Instinct-GPUs als Systemlösung anbieten. Laut Vamsi Boppana, Senior Vice President der KI-Abteilung von AMD, stärkt die Übernahme das KI-Portfolio. Taalas-Mitbegründer Ljubisa Bajic sagte, AMD biete die nötige Skalierung und Reichweite. Die Übernahme unterliegt den üblichen Genehmigungen.