Infinigence

PDDアーキテクチャがクロスクラスターヘテロジニアス推論の障壁を打破：初回トークン遅延を51.5%削減、コストを37.5%低減

InfiniteG（インフィニジェンス）が3層のクロスクラスターヘテロジニアス推論アーキテクチャPDDを発表。初回トークン遅延を51.5%削減し、トークンあたりのコストを37.5%低減。ローカルリレーデコードインスタンスを挿入してWAN KVキャッシュ転送の遅延を隠蔽することで、分散した同種クラスターの効率的な利用を実現する。

Infinigence