PDD आर्किटेक्चर ने क्रॉस-क्लस्टर हेटरोजीनियस इन्फ्रेंस बैरियर को तोड़ा: पहले टोकन की लेटेंसी में 51.5% की कमी, लागत में 37.5% की कमी
InfiniteG (इन्फिनिजेंस) ने PDD नामक तीन-परत क्रॉस-क्लस्टर हेटरोजीनियस इन्फ्रेंस आर्किटेक्चर का अनावरण किया, जो पहले टोकन की लेटेंसी को 51.5% और प्रति-टोकन लागत को 37.5% कम करता है। स्थानीय RelayDecode (RLD) उदाहरण डालकर WAN KV कैश ट्रांसफर विलंब को छिपाते हुए, PDD बड़े भाषा मॉडल इन्फ्रेंस के लिए फैले हुए समरूप क्लस्टरों का कुशल उपयोग सक्षम बनाता है।
Infinigence
QbitAI 量子位30.07 · 11:02