Dịch Trọn Bộ Sách: Cách Tôi Xây Dựng Quy Trình Dịch Sử Dụng LLM
Anthropic
OpenAI
Google/DeepMind
Một nhà phát triển đã tạo ra BookTrans, một quy trình mã nguồn mở dùng để dịch toàn bộ sách với các gói đăng ký LLM trả phí, hỗ trợ Claude Code, Antigravity CLI và Codex. Quy trình này đảm bảo chất lượng bản dịch qua nhiều giai đoạn: trinh sát, dịch tuần tự và hiệu đính mù, kèm theo kiểm tra tính toàn vẹn tự động và biện pháp bảo mật chống tấn công tiêm nhiễm lệnh.
Tác giả được thúc đẩy bởi việc thiếu các bản dịch tiếng Nga cho hai cuốn sách khoa học viễn tưởng, 'Usurpation' của Sue Burke và 'Singularity's Ring' của Paul Melko. Dựa trên ý tưởng giúp đỡ người khác, họ đã dành vài tuần để phát triển BookTrans, một pipeline mã nguồn mở dịch sách bằng cách sử dụng các đăng ký LLM trả phí. Pipeline hỗ trợ Claude Code, Antigravity CLI và Codex, và sử dụng hai mô hình cho mỗi tác tử: mô hình mạnh nhất cho công việc trí tuệ và mô hình mạnh tiếp theo cho các nhiệm vụ kỹ thuật. Trước khi dịch, nó thực hiện các kiểm tra rẻ như phát hiện ngôn ngữ và mã hóa, và sử dụng một mô hình rẻ để ánh xạ các thẻ và phong cách sang các loại nội dung. Quá trình dịch có ba giai đoạn chính: trinh sát (mô hình quét sách để tạo bảng thuật ngữ và tham chiếu thế giới), dịch tuần tự (các chương được dịch theo thứ tự với ngữ cảnh từ các chương trước) và biên tập mù (một mô hình biên tập viên xem xét bản dịch mà không thấy bản gốc, tập trung vào tiếng Nga tự nhiên). Pipeline cũng xử lý các bài thơ, nhận dạng trích dẫn và sử dụng chú thích cuối trang cho các lỗi và thuật ngữ khó hiểu. Nó chia các chương thành các đoạn từ 2000-3000 từ, và mỗi đoạn văn có một số ổn định để kiểm tra xem có đoạn nào bị thiếu hoặc bịa ra không. Các kiểm tra tự động xác minh tính toàn vẹn của đoạn văn, thuật ngữ, số và cấu trúc. Bảo mật là ưu tiên hàng đầu: văn bản sách được coi là dữ liệu không đáng tin cậy, và pipeline dừng lại nếu tìm thấy các nỗ lực tiêm prompt. Các tác tử được chạy với các công cụ bị vô hiệu hóa, sandbox và quyền truy cập hệ thống tệp hạn chế. Tìm kiếm web bị tắt để ngăn chặn rò rỉ dữ liệu. Tác giả cũng so sánh các prompt tiếng Nga và tiếng Anh và không thấy sự khác biệt đáng kể về chất lượng, vì vậy họ đã viết prompt bằng tiếng Nga.
Nguồn: Habr — хаб ИИ —
bản gốc
