LLM 연구 논문: 2026년 리스트 (1월~5월)

Sebastian Raschka는 자신이 읽거나 인용하고자 하는 연구 논문들의 목록을 지속적으로 관리하는 습관을 유지해 왔습니다. 2026년 상반기 동안, 그는 1월부터 5월까지 북마크한 논문들로 엄선된 목록을 작성했습니다. 이 목록은 완전하지는 않지만, 추론 모델, 강화 학습, 효율적 추론(inference), 에이전트 도구, 도구 사용, 긴 컨텍스트, 확산 언어 모델, 그리고 실용적인 서빙 인프라에 대한 그의 관심을 반영합니다. 카테고리에는 아키텍처 및 모델 설계, 효율적 학습 및 확장, 추론 효율성 및 KV 캐시(KV cache), 희소 주의 집중(Sparse Attention) 및 긴 컨텍스트(Long Context), 추론 및 테스트 시점 연산(Test-Time Compute), 강화 학습 및 RLVR, 에이전트 시스템 및 도구 사용, 코딩 에이전트 및 소프트웨어 공학, 확산 언어 모델(Diffusion Language Models), 그리고 모델 평가 및 벤치마크가 포함됩니다. 주목할 만한 논문으로는 효율성을 위해 하이브리드 Mamba-Transformer 아키텍처를 사용하는 Nemotron 3 Super와 주의 집중(attention)의 대안으로서 Mamba-3 및 Gated DeltaNet-2가 있습니다. Raschka는 LLM이 OpenClaw와 같은 에이전트 시스템에서 사용됨에 따라 긴 컨텍스트 효율성이 중요하다고 강조합니다. 또한 그는 Qwen3.6의 Gated DeltaNet 레이어에서 볼 수 있듯이, 주의 집중과 대안 레이어가 번갈아 나타나는 하이브리드 아키텍처의 추세에 주목합니다.