webAI, 로컬 자동 형식화를 위한 형식 논리 모델 제품군 TwIL-LM 공개
webAI
webAI가 1.7B 및 3B 파라미터 규모의 두 가지 형식 논리 모델로 구성된 TwIL-LM 제품군을 공개했습니다. 이 모델들은 로컬에서 실행되도록 설계되었으며, 영어를 1차 논리로 변환하는 자동 형식화에 특화되어 있습니다. 이 모델들은 비상업적 라이선스 하에 배포됩니다.
webAI는 1.7B 및 3B 매개변수의 두 가지 모델로 구성된 형식 논리 추론기 제품군인 TwIL-LM을 출시했습니다. 3B 모델인 TwIL-LM3는 SmolLM3-3B의 병합된 파인튠이며, 1.7B 모델은 SmolLM2-1.7B-Instruct용 PEFT LoRA 어댑터입니다. 둘 다 자동 형식화, 즉 영어를 1차 논리로 변환하고 전제에서 결론이 도출되는지 확인하는 작업을 목표로 합니다. 둘 다 로컬에서 실행되며, 1.7B는 1.06GB 양자화 빌드, 3B는 1.78GiB Q4_K_M GGUF로 제공됩니다. webAI의 발표는 5개의 형식 추론 트랙 중 4개에서 gpt-oss-120b를 능가한다는 점을 강조합니다. 배포는 부분적으로 제한적이며, 두 체크포인트 모두 webAI 비상업적 라이선스 버전 1.0 하에 제공됩니다. 수익 창출 배포에는 별도 계약이 필요합니다. 모델은 규정 준수 및 RegTech, 금융 서비스, 의료 및 제약, 법률 및 계약 운영, 형식 방법 연구 등 다양한 산업을 대상으로 합니다. 응용 분야로는 1차 논리 번역, 함의 분류, 자연어를 구조화된 쿼리로 변환, Lean 형식화 초안 작성 및 비평, 검증기 레이어 등이 있습니다. TwIL-LM3는 4단계로 구축되었습니다: LoRA 지도 파인튜닝, 체크포인트 융합, λ=0.25에서 사전 훈련된 기본 모델로의 WiSE-FT 보간, 그리고 프로그램적 검증기에 대해 실행되는 엔트로피 가중 GRPO 단계인 MGPO. 공개된 체크포인트는 2071단계입니다. TwIL-LM3는 규칙 귀납에서 96.4, 의미 구문 분석에서 87.6, Lean 형식화에서 64.6, 정확한 형식 답변에서 52.0, 함의 레이블링에서 68.7의 점수를 기록했습니다. 트랙 A에서는 6개 트랙 평균 0.4488, 매크로 게이트 0.4218을 기록하여 LFM2.5-8B-A1B까지의 모든 팔을 앞서지만 가장 큰 두 팔(Qwen3-8B 및 gpt-oss-120b)은 능가하지 못했습니다. 효율성이 주요 강점입니다: TwIL-LM3는 가장 짧은 생성(482 토큰)과 초당 가장 많은 답변(32.9회 vs 120B의 4.2회)을 생성합니다. TwIL-LM3는 도메인 내 상대적 개선 +26%를 달성하면서도 보류된 코어 평균에서 +0.022를 얻어 두 트랙 모두에서 개선을 이룬 유일한 팔입니다. 1.7B 모델은 분포 외 결과가 혼합된 다른 트레이드오프를 제공합니다. 주요 시사점: TwIL-LM3 및 TwIL-LM은 비상업적 라이선스 하의 형식 논리용입니다. TwIL-LM3는 6개 트랙 평균에서 gpt-oss-120b에 뒤처지며, 실제 강점은 효율성입니다. λ=0.25의 WiSE-FT가 도메인 내 개선이 보류된 성능을 붕괴시키지 않는 이유입니다.
출처: MarkTechPost —
원문
