AI-inferentie vereist fundamenteel andere data-infrastructuur, zegt Silk

Nvidia-CEO Jensen Huang riep het tijdperk van 'AI-fabrieken' uit, maar Silk waarschuwt dat de verschuiving van chatbots naar autonome AI-agenten een enorm dataprobleem creëert. Inference gedraagt zich als OLTP++ (Online Transaction Processing) met ongekende gelijktijdigheid, leespieken en onvoorspelbare toegangspatronen, waardoor AWS EBS-burstcredits snel uitgeput raken en latentiepieken ontstaan van 1 ms tot meer dan 100 ms. Opslagknelpunten, en niet rekenkracht, worden het kritieke faalpunt. Silk presenteert een casestudy van 'FinRetail', waarbij een op RAG (Retrieval-Augmented Generation) gebaseerde winkelassistent een 'success disaster' veroorzaakte door de opslaglaag te overweldigen, wat de hele site platlegde. De oplossing, volgens Silk, is een softwaregedefinieerde opslagabstractie die applicatieprestaties ontkoppelt van native AWS-opslaglimieten, en consistente sub-milliseconde p99-latentie biedt, zelfs onder gemengde belastingen. Silk's symmetrische active-active-architectuur en gedistribueerde caching kunnen 20 GiB/s I/O-doorvoer leveren, waardoor fragiele leesreplica's of overdimensionering van EC2-compute overbodig worden.