AI çıkarımı, temelde farklı bir veri altyapısı gerektiriyor, diyor Silk

Nvidia CEO'su Jensen Huang, 'yapay zeka fabrikaları' dönemini ilan etti ancak Silk, sohbet robotlarından otonom yapay zeka ajanlarına geçişin büyük bir veri sorunu yarattığı konusunda uyarıyor. Çıkarım (inference), benzeri görülmemiş eşzamanlılık, okuma ani artışları ve öngörülemeyen erişim kalıplarıyla OLTP++ (Çevrimiçi İşlem İşleme) gibi davranarak AWS EBS (Amazon Elastic Block Store) burst kredilerini hızla tüketiyor ve 1 ms'den 100 ms'nin üzerine çıkan gecikme ani artışlarına neden oluyor. Depolama darboğazları, hesaplama değil, kritik başarısızlık noktası haline geliyor. Silk, 'FinRetail' adlı bir vaka çalışması sunuyor; burada RAG (Retrieval-Augmented Generation, Bilgi Getirmeli Üretim) tabanlı bir alışveriş asistanı, depolama katmanını aşırı yükleyerek tüm siteyi çökerten bir 'başarı felaketi'ne yol açıyor. Silk'e göre çözüm, uygulama performansını yerel AWS depolama sınırlarından ayıran, yazılım tanımlı bir depolama soyutlamasıdır ve karma yükler altında bile tutarlı milisaniye altı p99 (yüzde 99) gecikme süresi sağlar. Silk'in simetrik aktif-aktif mimarisi ve dağıtılmış önbellekleme, 20 GiB/s G/Ç (Giriş/Çıkış) iş hacmi sunarak kırılgan okuma yinelemelerine veya aşırı sağlanan EC2 (Amazon Elastic Compute Cloud) hesaplamasına olan ihtiyacı ortadan kaldırır.