스타트업들이 LLM의 차세대 혁신을 쫓다

2017년 구글 논문에서 소개된 트랜스포머는 모든 주요 대규모 언어 모델(LLM)의 기반을 이루지만, 그 밀집 주의 메커니즘은 계산 비용이 많이 들고 긴 컨텍스트를 처리하는 데 어려움이 있습니다. 여러 스타트업이 이러한 단점을 해결하고 나섰습니다. 섭쿼드래틱(Subquadratic)은 자사의 희소 주의 모델인 섭큐(SubQ)가 주류 LLM과 견줄 만하다고 주장합니다. 매니페스트 AI(Manifest AI)는 주의 메커니즘을 '파워 리텐션'으로 대체하고 파워코더(PowerCoder)와 브럼비(Brumby)를 출시했습니다. 리퀴드 AI(Liquid AI)는 트랜스포머와 액체 신경망을 결합하여 하이브리드 LFM(액체 기반 모델)을 만들었는데, 이는 더 작고 에너지 효율적입니다. 인셉션(Inception)은 확산 모델을 사용해 텍스트 블록 전체를 한 번에 생성하며, 자사의 머큐리 2(Mercury 2) 모델이 GPT-4보다 10배 빠르다고 주장합니다. 또한 패스웨이(Pathway)의 '드래곤 해츨링(Dragon Hatchling)' 모델은 스도쿠 퍼즐에서 뛰어난 성능을 보여 언어를 넘어선 가능성을 시사합니다. 이들 스타트업은 LLM을 구축하는 방식을 바꿀 기회를 보고 있으며, 속도, 효율성, 기능 면에서 상당한 발전을 이룰 잠재력을 가지고 있습니다.