新興企業がLLMの次なる大物を追い求める

2017年のGoogleの論文で発表されたTransformerは、主要な大規模言語モデル全てを支えているが、その高密度なアテンション機構は計算コストが高く、長いコンテキストを扱うのが難しい。新興企業たちはこれらの欠点に取り組んでいる。Subquadraticは、そのスパースアテンションモデルSubQが主流のLLMに匹敵すると主張している。Manifest AIはアテンションを「パワー保持」に置き換え、PowerCoderとBrumbyをリリースした。Liquid AIはTransformerとリキッドニューラルネットワークを組み合わせて、より小型でエネルギー効率の高いハイブリッドLFM（液体基盤モデル）を開発している。Inceptionは拡散を使用してテキストブロック全体を一度に生成し、そのMercury 2モデルはGPT-4より10倍高速であると主張している。また、Pathwayの「Dragon Hatchling」モデルは数独パズルに優れており、言語を超えた進化を示唆している。これらの新興企業は、LLMの構築方法を変えるチャンスを見出しており、速度、効率、能力の大幅な向上が期待できる。