Multiverse Computing's AI-modelcompressie versnelt inferentie op standaard hardware
Multiverse Computing
Multiverse Computing heeft een methode ontwikkeld om AI-modellen te comprimeren, waardoor ze sneller kunnen draaien op standaard hardware zonder gespecialiseerde versnellers. De techniek, die gebruikmaakt van singulierewaardeontbinding, levert naar verluidt tot 10x versnelling op CPU's.
Multiverse Computing, een bedrijf gespecialiseerd in quantum-geïnspireerd rekenen, heeft een nieuwe aanpak aangekondigd om AI-modellen te comprimeren met behulp van matrixfactorisatietechnieken zoals singuliere-waardedekompositie. De methode vermindert de modelgrootte en de rekenvereisten, waardoor grote modellen efficiënt kunnen draaien op conventionele CPU's en GPU's. In tests behaalde de techniek tot 10x versnelling van de inferentie op CPU's zonder significant verlies aan nauwkeurigheid. Het bedrijf beweert dat dit AI kan democratiseren doordat de afhankelijkheid van dure, gespecialiseerde hardware afneemt.
Bron: Meta AI (GNews) —
origineel