PRX Teil 4: Unsere Datenstrategie – Aufbau eines vielfältigen Pre-Training-Korpus
Photoroom
Das PRX-Team von Photoroom erläutert ihre Datenstrategie: Zusammenstellung eines vielfältigen Pre-Training-Datensatzes aus öffentlichen und internen Quellen, erneute Beschriftung aller Bilder mit einem VLM, Speicherung der Daten in Lance zur Kuratierung und in MDS zum Streamen. Sie legen Wert auf Breite statt Ästhetik, verwenden JPEG mit Qualität 92 und berechnen Text-Latents on the fly mit Qwen3-VL.
Das PRX-Team von Photoroom teilt ihre Datenstrategie für das Vortraining eines 7B Text-zu-Bild-Modells. Sie stellen Trainingsdaten aus einer Mischung öffentlicher und interner Datensätze zusammen, wobei sie Diversität und Breite über Perfektion pro Bild priorisieren. Alle Bilder werden mittels eines VLM (Vision-Language-Modells) mit konsistenten, langen Bildunterschriften neu beschriftet. Die Daten werden im Lance-Format für Feature-Engineering und Exploration gespeichert und dann für verteiltes Training in Mosaic Data Shards (MDS) konvertiert. Bilder werden als JPEG mit Qualität 92 codiert, was im Vergleich zu PNG einen vernachlässigbaren Qualitätsverlust zeigte. Text-Latents werden während des Trainings on-the-fly mit Qwen3-VL berechnet, was nur einen Durchsatzeinbuße von 3-4 % verursacht. Das Team baute eine Benutzeroberfläche zum Durchsuchen des Datensatzes mittels Volltextsuche und Vektorähnlichkeit, was qualitative Bewertung und frühzeitige Fehlererkennung ermöglicht.
Quelle: Hugging Face blog —
Original