PRX, Part 4: Our Data Strategy
Photoroom
The Photoroom team shared their data collection strategy for pre-training the PRX model: they use a mix of public and internal datasets, re-caption images with a VLM, and convert the final corpus into MDS format for streaming. The main focus is on diversity and breadth of coverage rather than perfectionism for each individual image. For data processing and labeling, they use the Lance columnar format, and for training, MDS (Mosaic Data Shards). Text encoding is done on the fly with Qwen3-VL, and images are stored in JPEG with quality 92, which does not degrade generation quality compared to PNG.
Photoroom şirketinin PRX modelini geliştirenler, dört bölümlük makale serilerinin dördüncüsünde ön eğitim için veri hazırlama stratejilerini anlattı. Temel prensip, modelin yalnızca estetik açıdan çekici görselleri değil, geniş bir görsel kavram yelpazesini öğrenmesi için büyük ve çeşitli bir veri seti toplamak. Veriler, genel ve dahili kaynakların bir karışımından toplanıyor; yazarlar, bu işi sıfırdan tekrarlamamak için mevcut düzenlemelere (kalite filtreleme, yineleme giderme, Güvenli Değil kısaltmasıyla bilinen NSFW içerik ve kişisel bilgilerin kaldırılması) dayanıyor. Tüm görseller, tutarlı bir stil ve alt yazı uzunluğu sağlamak için Görsel-Dil Modeli (VLM) kullanılarak yeniden açıklanıyor. Veri setini oluşturmak ve incelemek için tam metin araması ve vektör gömme aramasını destekleyen sütun biçimli Lance formatı kullanılıyor; bu, verilerin hızlı bir şekilde profillenmesine ve sorunların tespit edilmesine olanak tanıyor. Eğitim için, dağıtık eğitim ve bulut depolardan veri akışı için çok uygun olan Mozaik Veri Parçaları (MDS) formatı kullanılıyor. Metin gizil değişkenleri, Qwen3-VL kodlayıcısı ile anında hesaplanıyor; bu, eğitim maliyetine yalnızca %3–4 eklerken, önceden hesaplama ve gizil değişkenleri depolama ihtiyacını ortadan kaldırıyor. Görseller, 92 kalitesinde JPEG olarak kodlanıyor; deneyler, bunun PNG'ye kıyasla üretim kalitesi üzerinde fark edilir bir etkisi olmadığını, ancak önemli ölçüde yerden tasarruf sağladığını gösterdi. Ayrıca makalede, özellikle sorguları hızlandırmak için tablo parçalanmasını kontrol etme konusunda Lance formatıyla çalışmaya yönelik pratik ipuçları da veriliyor.
Kaynak: Hugging Face blog —
orijinal