PDD 아키텍처, 크로스 클러스터 이기종 추론 장벽突破: 첫 토큰 지연 51.5% 감소, 비용 37.5% 절감

WAIC 2026에서 InfiniteG는 PDD(Prefill-RelayDecode-MainDecode)라는 새로운 추론 아키텍처를 발표했습니다. 이는 기존의 PD 분할을 세 단계로 분해한 방식입니다. 핵심 통찰은 에이전트 워크로드에서 캐시 적중률이 매우 편중되어 있다는 점입니다(요청의 70-80%가 95% 이상의 적중률). 이로 인해 적중률이 낮은 소수의 요청만이 WAN 이더넷을 통한 긴 KV 캐시 전송 지연을 겪게 됩니다. PDD는 프리필과 동일한 클러스터에 RelayDecode(RLD) 인스턴스를 삽입하여, 이 인스턴스가 빠른 RDMA를 통해 KV 캐시를 수신하고 즉시 디코딩을 시작함으로써 원격 MainDecode(MD) 인스턴스로의 느린 이더넷 전송을 차단합니다. MD가 전체 KV 캐시를 수신하면, 핸드오프 메커니즘을 통해 작은 토큰 ID(수 KB)만 MD로 전송하여 로컬 재계산을 수행함으로써 대규모 KV 전송을 피합니다. 실제 에이전트 트레이스로 DeepSeek-V4-pro를 테스트한 결과, PDD는 P90 TTFT를 18.3초에서 9.8초로(46% 감소), P99는 29.7초에서 14.4초로 줄였으며, RLD는 토큰 생성의 6.2%만 처리했습니다. 총 인프라 비용은 3.5-7.1% 감소한 반면, 유효 처리량(RPS 굿풋)은 27.8% 증가하여 편익-비용 비율이 37.5% 개선되었습니다. 이 작업은 저비용 WAN으로 연결된 동종 클러스터 간 이기종 추론을 가능하게 하여, 분산된 컴퓨팅 리소스의 활용을 극대화합니다.