Yapay Zeka SSD'leri: Büyük Dil Modeli Çıkarımında Depolama Paradigması Değişimi

AI altyapısı rekabeti, ham GPU sayısı ve işlem gücünden, bilgi işlem, ağ, bellek ve depolamanın token başına birlikte çalıştığı daha bütünsel bir yaklaşıma kayıyor. Bunun arkasında uzun bağlamlı modeller, karmaşık akıl yürütme ve çoklu ajan sistemleri yer alıyor ve KV Cache ile MoE uzman ağırlıklarının verimli yönetimini gerektiriyor. Bu konudaki iki temsili sinyal, Moonshot AI'nin Mooncake'i ve NVIDIA'nın CMX'i. Mooncake, boştaki CPU, DRAM, SSD ve NIC kaynaklarını dağıtılmış bir önbellek havuzunda organize eden KV Cache odaklı ayrıştırılmış bir mimari; testlerde etkin istek kapasitesini %59 ila %498 oranında iyileştiriyor. NVIDIA'nın CMX Bağlam Belleği Depolama Platformu ise HBM ile paylaşılan depolama arasına bir 'G3.5' katmanı ekleyerek GPU pod'u içinde petabayt ölçeğinde paylaşılan bağlam belleği sağlıyor ve sürekli token verimi ile güç verimliliğinde potansiyel olarak 5 kata kadar iyileştirme sunuyor. Bu sistemler, çıkarım durumunun önemli bir kaynak haline geldiğini ve depolamanın yerleştirme, geçiş ve yeniden kullanıma katılması gerektiğini vurguluyor. Sonuç olarak, AI SSD'leri ortaya çıkıyor: iki kategoriyle: AI geliştirilmiş kurumsal SSD'ler (örneğin, InnoGrit Dongting-N3X, Huawei OceanDisk LC 560) ve çıkarıma katılan AI SSD'leri. İkincisi için üç dikkate değer yol: Phison'un aiDAPTIV'i (özel önbellek SSD'leri ve ara katman yazılımı kullanan), Longsys'in SPU+iSA'sı (depolama tarafı zekasından yararlanan) ve Infplane-Maxio'nun katmanlar arası koordinasyonu. AI SSD'lerindeki rekabet nihayetinde tam veri yoluyla ilgili olacak ve NAND ortamı, FTL, donanım yazılımı, sürücüler, ara katman yazılımı ve çıkarım çerçeveleri genelinde iş birliği gerektirecek. AI SSD'ler HBM, VRAM veya DRAM'ın yerini almayacak, ancak verilerin erişim sıcaklığına göre yerleştirildiği ve geçişin yazılım ve donanım tarafından yönetildiği daha ince bir depolama hiyerarşisi oluşturacak.