Menerjemahkan Seluruh Buku: Cara Saya Membangun Pipeline Bertenaga LLM
Anthropic
OpenAI
Google/DeepMind
Seorang pengembang menciptakan BookTrans, sebuah pipeline open-source yang menerjemahkan seluruh buku menggunakan langganan LLM berbayar, mendukung Claude Code, Antigravity CLI, dan Codex. Pipeline ini memastikan kualitas terjemahan melalui proses bertahap: pengintaian, penerjemahan sekuensial, dan penyuntingan buta, dengan pemeriksaan integritas otomatis dan langkah keamanan terhadap injeksi prompt.
Penulis termotivasi oleh kurangnya terjemahan bahasa Rusia untuk dua buku fiksi ilmiah, 'Usurpation' karya Sue Burke dan 'Singularity's Ring' karya Paul Melko. Berlandaskan gagasan untuk membantu orang lain, mereka menghabiskan beberapa minggu mengembangkan BookTrans, sebuah pipeline sumber terbuka yang menerjemahkan buku menggunakan langganan LLM berbayar. Pipeline ini mendukung Claude Code, Antigravity CLI, dan Codex, serta menggunakan dua model per agen: model terkuat untuk pekerjaan intelektual dan model terkuat berikutnya untuk tugas teknis. Sebelum penerjemahan, pipeline ini melakukan pemeriksaan murah seperti deteksi bahasa dan encoding, serta menggunakan model murah untuk memetakan tag dan gaya ke jenis konten. Proses penerjemahan memiliki tiga tahap utama: pengintaian (model memindai buku untuk membuat glosarium dan referensi dunia), penerjemahan sekuensial (bab diterjemahkan secara berurutan dengan konteks dari bab sebelumnya), dan penyuntingan buta (model editor meninjau terjemahan tanpa melihat teks asli, berfokus pada bahasa Rusia yang alami). Pipeline ini juga menangani puisi, mengenali kutipan, dan menggunakan catatan kaki untuk kesalahan dan istilah yang tidak jelas. Pipeline ini membagi bab menjadi fragmen 2000-3000 kata, dan setiap paragraf mendapat nomor stabil untuk memeriksa paragraf yang hilang atau dibuat-buat. Pemeriksaan otomatis memverifikasi integritas paragraf, istilah glosarium, angka, dan struktur. Keamanan adalah prioritas: teks buku diperlakukan sebagai data yang tidak tepercaya, dan pipeline berhenti jika menemukan upaya injeksi prompt. Agen dijalankan dengan alat yang dinonaktifkan, sandbox, dan akses sistem file terbatas. Pencarian web dinonaktifkan untuk mencegah kebocoran data. Penulis juga membandingkan prompt bahasa Rusia dan Inggris dan tidak menemukan perbedaan kualitas yang signifikan, sehingga mereka menulis prompt dalam bahasa Rusia.
Sumber: Habr — хаб ИИ —
asli
