Cách tôi tự động hóa việc tạo nhãn dán mạng xã hội: Huấn luyện cục bộ LoRA phong cách cho SD 1.5 trên 30 hình ảnh

Tác giả gặp phải vấn đề khi tạo ra các hình minh họa nhất quán cho các bộ nhãn dán bằng kỹ thuật prompt engineering, vì vậy họ quyết định huấn luyện một LoRA về phong cách trên Stable Diffusion 1.5. SD 1.5 được chọn vì yêu cầu phần cứng thấp và hệ sinh thái rộng lớn, mặc dù có hạn chế trong việc hiểu các mô tả phức tạp. Bộ dữ liệu bao gồm 30 nhãn dán được chọn thủ công từ stickersvk.com, mỗi bộ chỉ lấy một nhãn dán để tránh mô hình ghi nhớ các nhân vật hoặc tác giả cụ thể; các hình ảnh có chữ, tư thế phức tạp hoặc phong cách lệch lạc đều bị loại. Họ sử dụng một token kích hoạt 'vkstckrs' để kích hoạt các đặc trưng đã học trong quá trình tạo. Gemini 3.1 Pro đã viết một tập lệnh Python để thay thế nền trong suốt bằng màu trắng và lưu dưới dạng JPG, trong khi ChatGPT 5.6 đã tạo ra các chú thích bằng BLIP, một mô hình chú thích hình ảnh được huấn luyện trước. Tác giả nhấn mạnh rằng mô hình chỉ được huấn luyện cho mục đích giáo dục, các hình ảnh đã bị xóa sau khi huấn luyện và không có ý định sử dụng thương mại.