LLM 아키텍처 혁신: KV 공유, 레이어별 임베딩, 압축 어텐션

Sebastian Raschka가 긴 컨텍스트 비용 절감을 목표로 한 최근 오픈 웨이트 LLM 아키텍처 변경 사항을 살펴봅니다. Gemma 4 E2B/E4B에서는 이후 레이어가 이전 레이어의 키-값 상태를 재사용하는 교차 레이어 주의(cross-layer attention)를 통해 KV 캐시 크기를 약 절반으로 줄입니다(예: 128K 컨텍스트에서 2.7 GB). 또한, 이러한 모델은 레이어별 임베딩(PLE)을 사용하여 주 트랜스포머 스택을 확장하지 않고도 용량을 늘리며, '유효' 파라미터 수는 임베딩을 포함한 총 파라미터 수보다 작습니다. Poolside의 Laguna XS.2는 레이어별로 주의 비용을 달리하여, 30개의 슬라이딩 윈도우(윈도우 크기 512) 레이어와 10개의 전체 주의(full attention) 레이어로 구성됩니다. ZAYA1-8B는 압축된 합성곱 주의(compressed convolutional attention)를 도입했으며, DeepSeek V4는 mHC와 압축 주의를 사용합니다. 이러한 조정은 추론 모델과 에이전트 워크플로에서 효율적인 긴 컨텍스트 처리에 대한 필요성 증가에 의해 동기 부여되었습니다.