webAIがTwIL-LMを発表:ローカル自動形式化のための形式論理モデルファミリー
webAI
webAIは、ローカルで実行できるように設計された、パラメータ数17億と30億の2つの形式論理モデルからなるTwIL-LMをリリースしました。このモデルは、英語を一階述語論理に翻訳する自動形式化に特化しています。これらは非商用ライセンスの下で公開されています。
webAIは、1.7Bおよび3Bパラメータの2モデルからなる形式論理推論モデル群TwIL-LMをリリースしました。3BモデルであるTwIL-LM3は、SmolLM3-3Bのマージファインチューンであり、1.7BモデルはSmolLM2-1.7B-Instruct用のPEFT LoRAアダプタです。両モデルは自動形式化、つまり英語を一階述語論理に変換し、結論が前提から導かれるかどうかをチェックすることを目的としています。両モデルともローカルで動作し、1.7B用の量子化ビルドは1.06 GB、3B用のQ4_K_M GGUFは1.78 GiBです。webAIの発表では、5つの形式推論レーン(部門)のうち4つでgpt-oss-120bを上回ったことを強調しています。ただし、展開は部分的であり、両チェックポイントはwebAI非商用ライセンスver. 1.0の下で提供され、収益を生む展開には別途契約が必要です。モデルは、コンプライアンスやRegTech、金融サービス、ヘルスケアや製薬、法務や契約業務、形式手法研究など、さまざまな業界を対象としています。用途には、一階述語論理(FOL)翻訳、含意分類、自然言語から構造化クエリへの変換、Lean形式化のドラフト作成と批評、検証レイヤーが含まれます。TwIL-LM3は、LoRA教師ありファインチューニング、チェックポイント融合、λ=0.25でのWiSE-FT補間による事前学習ベースへの回帰、そしてプログラム検証器に対するエントロピー重み付きGRPOステージであるMGPOの4段階で構築されました。公開されているチェックポイントはステップ2071です。TwIL-LM3は、ルール帰納で96.4、セマンティックパージングで87.6、Lean形式化で64.6、厳密形式回答で52.0、含意ラベリングで68.7をスコアしています。トラックAでは、6レーン平均で0.4488、マクロゲートで0.4218を獲得し、LFM2.5-8B-A1Bまでのすべてのアームをリードしていますが、最大の2つのアーム(Qwen3-8Bとgpt-oss-120b)には及びません。効率性が主要な強みであり、TwIL-LM3は最短の生成(482トークン)と1秒あたりの回答数(32.9 vs 120Bの4.2)を実現しています。TwIL-LM3は、ドメイン内では相対的に+26%向上し、さらに保持データのコア平均で+0.022を獲得しており、両トラックで向上した唯一のアームです。1.7Bモデルは、分布外の結果が混在する異なるトレードオフを提供します。要点:TwIL-LM3とTwIL-LMは非商用ライセンスの下での形式論理用であり、TwIL-LM3は6レーン平均でgpt-oss-120bに劣ります。その真の強みは効率性であり、λ=0.25でのWiSE-FTが、ドメイン内の向上が保持データのパフォーマンスを損なわない理由です。
出典: MarkTechPost —
原文
