PRX 第四部分：我们的数据策略

Photoroom公司PRX模型的开发者在系列文章的第四部分描述了他们的预训练数据准备策略。基本原则是收集一个庞大而多样化的数据集，使模型学习广泛的视觉概念，而不仅仅是美学上吸引人的图像。数据来自公开和内部来源的混合；作者利用已有的整理工作（质量过滤、去重、删除NSFW内容和个人信息），以避免从头开始重复这项工作。所有图像都通过视觉语言模型重新描述，以确保标题风格和长度统一。为了构建和探索数据集，使用了支持全文搜索和向量嵌入搜索的列式格式Lance，从而可以快速分析数据并发现潜在问题。训练时采用MDS格式，该格式非常适合分布式训练和从云存储进行流式数据传输。文本潜在表示通过Qwen3-VL编码器实时计算，仅增加3%–4%的训练成本，但省去了预先计算和存储潜在表示的需要。图像以JPEG格式编码，质量设为92；实验表明，与PNG相比，这对生成质量没有明显影响，同时显著节省存储空间。文章还提供了使用Lance格式的实用建议，特别是关于控制表碎片化以加速查询的方法。