PDD-architectuur doorbreekt cross-cluster heterogene inferentiebarrière: 51,5% lagere first-token latentie, 37,5% kostenreductie

In 2026 presenteerde InfiniteG op WAIC PDD (Prefill-RelayDecode-MainDecode), een nieuwe inferentiearchitectuur die de traditionele PD-opsplitsing ontleedt in drie fasen. Het belangrijkste inzicht is dat agentworkloads zeer scheve cachemissers hebben (70-80% van de aanvragen heeft >95% hitrate), waardoor slechts enkele aanvragen met weinig hits te maken krijgen met lange KV-cache-overdrachten via WAN Ethernet. PDD voegt een RelayDecode (RLD)-instantie toe in hetzelfde cluster als Prefill, die KV-cache ontvangt via snelle RDMA en onmiddellijk begint met decoderen, waardoor de trage Ethernet-overdracht naar de externe MainDecode (MD)-instantie wordt gemaskeerd. Zodra MD de volledige KV-cache ontvangt, draagt een overdrachtsmechanisme alleen kleine token-ID's (enkele KB) over aan MD voor lokale herberekening, waardoor grote KV-overdrachten worden vermeden. In tests met DeepSeek-V4-pro en echte agenttraceringen bereikte PDD een P90 TTFT-reductie van 18,3s naar 9,8s (46% lager) en P99 van 29,7s naar 14,4s, terwijl RLD slechts 6,2% van de token-generatie voor zijn rekening nam. De totale infrastructuurkosten daalden met 3,5-7,1%, terwijl de effectieve doorvoer (RPS goedketen) met 27,8% steeg, wat resulteerde in een verbetering van 37,5% van de baten-kostenverhouding. Het werk maakt heterogene inferentie mogelijk over goedkope, via WAN verbonden homogene clusters, waarbij het gebruik van verspreide rekenbronnen wordt gemaximaliseerd.