Silk: Infrastruktur Data yang Berbeda Secara Fundamental Dibutuhkan untuk Inferensi AI

CEO Nvidia, Jensen Huang, mendeklarasikan era 'pabrik AI', tetapi Silk memperingatkan bahwa pergeseran dari chatbot ke agen AI otonom menciptakan masalah data yang besar. Inferensi berperilaku seperti OLTP++ dengan konkurensi yang belum pernah terjadi sebelumnya, lonjakan baca, dan pola akses yang tidak terduga, dengan cepat menghabiskan kredit burst AWS EBS dan menyebabkan lonjakan latensi dari 1 ms menjadi lebih dari 100 ms. Hambatan penyimpanan, bukan komputasi, menjadi titik kegagalan kritis. Silk menyajikan studi kasus 'FinRetail' di mana asisten belanja berbasis RAG menyebabkan 'bencana kesuksesan' dengan membebani lapisan penyimpanan hingga menghancurkan seluruh situs. Solusinya, menurut Silk, adalah abstraksi penyimpanan yang didefinisikan oleh perangkat lunak yang memisahkan kinerja aplikasi dari batasan penyimpanan asli AWS, memberikan latensi p99 sub-milidetik yang konsisten bahkan di bawah beban campuran. Arsitektur aktif-aktif simetris dan caching terdistribusi Silk dapat memberikan throughput I/O 20 GiB/dtk, menghilangkan kebutuhan akan replika baca yang rapuh atau kelebihan provisi komputasi EC2.