PDD 아키텍처, 크로스 클러스터 이기종 추론 장벽突破: 첫 토큰 지연 51.5% 감소, 비용 37.5% 절감
InfiniteG(InfiniG)가 3계층 크로스 클러스터 이기종 추론 아키텍처 PDD를 공개했습니다. 이 아키텍처는 첫 토큰 지연 시간을 51.5% 줄이고 토큰당 비용을 37.5% 절감합니다. 로컬 RelayDecode(RLD) 인스턴스를 삽입하여 WAN KV 캐시 전송 지연을 마스킹함으로써, PDD는 분산된 동종 클러스터를 LLM 추론에 효율적으로 활용할 수 있게 합니다.
Infinigence
QbitAI 量子位30.07 · 11:02