現代の大規模言語モデルにおける注意機構のバリエーション：ビジュアルガイド

Sebastian Raschka氏が、現代のLLMにおける注意機構のバリエーションに関するビジュアルガイドを公開し、45のLLMアーキテクチャのギャラリーも併せて発表した。この記事では、マルチヘッドアテンション（multi-head attention, MHA）とその歴史的背景、そしてキー・バリューヘッドを共有することでKVキャッシュコストを削減するグループ化クエリアテンション（grouped-query attention, GQA）について取り上げている。GQAは効率と品質の間で人気のあるトレードオフである。DeepSeek V3で採用されているマルチヘッド潜在アテンション（multi-head latent attention, MLA）は、キャッシュをより積極的に圧縮しながらも、優れた性能を維持する。また、スパースアテンションやハイブリッドアーキテクチャについても議論し、各バリエーションのモデル例を紹介している。ポスターバージョンはRedbubbleで入手可能である。