Induction Labs Photon-1: Desktop Simulation, Checkers, and Billiard Physics After One Pretraining

ビデオから学習するほとんどのエージェントは、どのアクションが各フレームにつながったかを知る必要があります。Induction Labsは、この要件がボトルネックであると主張しています。先週、同社はImagination Models（想像力モデル）を発表しました。これは、アクションのラベルがまったくない生のビデオで事前学習を行う基盤モデル（foundation model）のアーキテクチャです。テストシステムはPhoton-1、1060億パラメータで50億のアクティブパラメータを持つ疎混合エキスパート（Mixture of Experts, MoE）モデル（106B-A5B）です。1回の事前学習サイクルの後、モデルはコンピュータのデスクトップ操作のシミュレーション、チェッカーのプレイ、ビリヤードの物理演算のモデリングを実証しました。