Thinking Machines, 1조 개 파라미터의 개방형 멀티모달 모델 Inkling 출시

Thinking Machines가 Inkling을 오픈소스로 공개했습니다. Inkling은 약 1조 개의 총 파라미터와 410억 개의 활성 파라미터를 가진 대규모 다중 모드 혼합 전문가 모델입니다. 이는 텍스트, 이미지, 오디오 입력을 기본적으로 지원하며 100만 개의 컨텍스트 윈도우를 제공하는 최초의 대규모 오픈 모델입니다. 아키텍처에는 RoPE(회전 위치 임베딩) 대신 상대적 어텐션, 5:1의 슬라이딩-글로벌 비율의 하이브리드 어텐션, 짧은 1D 컨볼루션 레이어, 그리고 공유 전문가를 포함한 혼합 전문가(Mixture-of-Experts)가 포함됩니다. 비전의 경우 계층적 MLP 패치파이어를 사용하고, 오디오의 경우 이산화된 멜 스펙트로그램을 사용합니다. Inkling은 전체 BF16(2TB VRAM 필요) 및 양자화된 NVFP4 변형(600GB VRAM 필요)으로 제공됩니다. transformers 파이프라인, AutoModelForMultimodalLM, SGLang, vLLM 및 llama.cpp를 통한 추론을 지원하며, Hugging Face Inference Providers를 통해 액세스할 수 있습니다.