PRX 第4回：私たちのデータ戦略 – 多様な事前学習コーパスの構築

PhotoroomのPRXチームは、7Bテキスト-to-画像モデルの事前学習に向けたデータ戦略を公開しました。公開データセットと内部データセットを組み合わせてトレーニングデータを構築し、個々の画像の完全性よりも多様性と広がりを重視しています。すべての画像は一貫性のある長いキャプションを得るためにVLM（視覚言語モデル）を使用して再キャプションされています。データはLance形式で保存され、特徴量エンジニアリングと探索が行われた後、分散トレーニングのためにMosaic Data Shards（MDS）に変換されます。画像は品質92のJPEGとしてエンコードされており、PNGと比較して無視できる程度の品質低下しか見られませんでした。テキスト潜在変数はトレーニング中にQwen3-VLを使用してオンザフライで計算され、スループットの低下はわずか3-4%です。チームは全文検索とベクトル類似度を使用してデータセットを閲覧できるUIを構築し、定性的評価と早期の問題発見を可能にしました。