PDD-arkkitehtuuri murtaa klusterien välisen heterogeenisen päättelyn esteen: ensimmäisen tokenin viive 51,5 % pienempi, kustannukset 37,5 % alemmat
InfiniteG (Infinigence) esitteli PDD:n, kolmikerroksisen klusterien välisen heterogeenisen päättelyarkkitehtuurin, joka vähentää ensimmäisen tokenin viivettä 51,5 prosenttia ja tokenikohtaisia kustannuksia 37,5 prosenttia. Lisäämällä paikallisen RelayDecode (RLD) -instanssin piilottamaan WAN KV-välimuistin siirtoviiveet, PDD mahdollistaa hajallaan olevien homogeenisten klusterien tehokkaan käytön suurten kielimallien päättelyssä.
Infinigence
QbitAI 量子位30.07 · 11:02