Membangun Wiki Pribadi Tanpa Claude Code: Pipeline Berbasis MapReduce

Terinspirasi oleh ide Andrej Karpathy tentang wiki yang dihasilkan LLM, penulis (seorang pengguna Habr) mengeksplorasi alternatif untuk Claude Code dalam membangun wiki pribadi. Tiga strategi diuji: ekstraksi sekuensial dengan memori konteks, ekstraksi batch dengan agen integrasi terpisah, dan pendekatan MapReduce. Strategi pertama gagal karena model yang lemah kehilangan elemen ketika jumlahnya melebihi sepuluh. Strategi kedua gagal karena integrasi yang buruk yang menggabungkan item yang tidak terkait. Strategi ketiga, MapReduce, berhasil: setiap sumber dianotasi dan istilah kunci diekstraksi, kemudian istilah-istilah tersebut dibalik untuk memetakan setiap istilah ke sumbernya. Sebuah penilai LLM menyaring istilah berdasarkan kepentingan; untuk istilah penting, elemen wiki dibuat dengan ringkasan, properti, dan tautan ke elemen terkait. Pipeline menggunakan gpt-5-mini dari penyedia proxy dan gemma4:26b dari Ollama lokal. gpt-5-mini cenderung melebih-lebihkan signifikansi dan kadang-kadang menambahkan istilah sendiri, tetapi penaut menangkap hal ini; gemma4:26b lebih ketat tetapi kesulitan dengan keluaran terstruktur, memerlukan pemisahan dalam kode. Biaya: Claude Code berbiaya $3-4 per 100KB teks sumber, gpt-5-mini berbiaya $1.1-1.3, sedangkan gemma4:26b hanya membutuhkan biaya listrik tetapi lambat (12 token/detik, memakan waktu seharian penuh untuk pipeline). Implementasinya, Wiki-assembler, adalah pipeline Python dengan lima atau enam agen LangChain sederhana dan dua blok hardcoded, menghindari ReAct karena penalaran Gemma yang tak terbatas. Langkah-langkah pipeline meliputi anotasi dan kategorisasi, penyaringan istilah kunci melalui penilai LLM, pembangunan elemen wiki, dan penautan.