Meta, Muse Glimmer 공개: 로컬 구동, 에이전트형, 멀티모달, 오픈소스 AI 모델

Meta가 오픈소스 30B 파라미터 멀티모달 모델인 Muse Glimmer를 공개했으며, transformers, llama.cpp, vLLM 등 여러 라이브러리에서 출시第一天부터 지원된다. 이 아키텍처는 비전 인식을 위한 2B ViT 스타일 인식 인코더와 28B 텍스트 디코더를 결합하고, 슬라이딩 윈도우와 전체 어텐션 레이어를 혼합한 하이브리드 어텐션, KV 캐시 메모리를 줄이기 위한 게이트드 그룹 쿼리 어텐션(Gated Grouped-Query Attention), 그리고 Q-K 정규화를 사용한다. 또한 생성 속도를 높이기 위한 선택적 투기 디코딩 초안 작성기를 포함하며, 특히 코딩에 적합하다. 벤치마크 결과는 MCP Atlas, DeepSearch QA, SWE-Bench 같은 작업에서 강력한 에이전트 성능과 멀티모달 능력을 보여준다. 모델은 Hugging Face Hub에서 이용 가능하며, 텍스트 전용 추론, 멀티모달 도구 호출, 객체 감지, transformers 및 llama.cpp를 사용한 비디오 추론을 위한 통합 예제가 제공된다.