PDD Mimarisi, Kümeler Arası Heterojen Çıkarım Engelini Aşıyor: İlk Token Gecikmesinde %51,5 Azalma, %37,5 Maliyet Düşüşü
InfiniteG (Infinigence), ilk token gecikmesini %51,5 ve token başına maliyeti %37,5 azaltan üç katmanlı kümeler arası heterojen çıkarım mimarisi PDD'yi tanıttı. WAN KV Cache aktarım gecikmelerini gizlemek için yerel bir RLD (RelayDecode) örneği ekleyen PDD, LLM çıkarımı için dağınık homojen kümelerin verimli bir şekilde kullanılmasını sağlıyor.
Infinigence
QbitAI 量子位30.07 · 11:02