Een Heel Boek Vertalen: Hoe Ik een LLM-aangedreven Pijplijn Bouwde
Anthropic
OpenAI
Google/DeepMind
Een ontwikkelaar creëerde BookTrans, een open-source pijplijn die hele boeken vertaalt met behulp van betaalde LLM-abonnementen, met ondersteuning voor Claude Code, Antigravity CLI en Codex. De pijplijn waarborgt de vertaalkwaliteit via een meerfasig proces: verkenning, sequentiële vertaling en blinde redactie, met geautomatiseerde integriteitscontroles en beveiligingsmaatregelen tegen promptinjectie.
De auteur werd gemotiveerd door het gebrek aan Russische vertalingen van twee sciencefictionboeken, 'Usurpation' van Sue Burke en 'Singularity's Ring' van Paul Melko. Voortbouwend op het idee om anderen te helpen, besteedden ze een paar weken aan het ontwikkelen van BookTrans, een open-sourcepijplijn die boeken vertaalt met behulp van betaalde LLM-abonnementen. De pijplijn ondersteunt Claude Code, Antigravity CLI en Codex, en gebruikt twee modellen per agent: het sterkste voor intellectueel werk en het op een na sterkste voor technische taken. Vóór de vertaling voert het goedkope controles uit zoals taaldetectie en codering, en gebruikt een goedkoop model om tags en stijlen aan inhoudstypen te koppelen. Het vertaalproces heeft drie hoofdfasen: verkenning (het model scant het boek om een verklarende woordenlijst en wereldreferentie te maken), opeenvolgende vertaling (hoofdstukken worden in volgorde vertaald met context van eerdere hoofdstukken) en blinde redactie (een redactiemodel beoordeelt de vertaling zonder het origineel te zien, met nadruk op natuurlijk Russisch). De pijplijn behandelt ook gedichten, herkent citaten en gebruikt voetnoten voor fouten en onduidelijke termen. Het splitst hoofdstukken in fragmenten van 2000-3000 woorden, en elke paragraaf krijgt een stabiel nummer om te controleren op ontbrekende of verzonnen paragrafen. Geautomatiseerde controles verifiëren paragraafintegriteit, woordenlijsttermen, cijfers en structuur. Beveiliging is een prioriteit: de boektekst wordt behandeld als onbetrouwbare gegevens en de pijplijn stopt als het promptinjectiepogingen vindt. Agents worden uitgevoerd met uitgeschakelde tools, sandboxes en beperkte bestandssysteemtoegang. Zoeken op het web is uitgeschakeld om gegevenslekkage te voorkomen. De auteur vergeleek ook Russische en Engelse prompts en vond geen significant kwaliteitsverschil, dus schreven ze prompts in het Russisch.
Bron: Habr — хаб ИИ —
origineel
