Xây dựng Wiki Cá nhân Không Cần Claude Code: Pipeline Dựa trên MapReduce

Lấy cảm hứng từ ý tưởng của Andrej Karpathy về những wiki do mô hình ngôn ngữ lớn (Large Language Model – LLM) tự tạo ra, tác giả (một ngườ dùng Habr) đi tìm các phương án thay thế Claude Code để xây dựng một wiki cá nhân. Ba chiến lược đã được thử nghiệm: trích xuất tuần tự có bộ nhớ ngữ cảnh, trích xuất theo lô với một agent tích hợp riêng, và phương pháp MapReduce. Chiến lược thứ nhất thất bại vì các mô hình yếu đánh mất phần tử khi số lượng vượt quá mườ. Chiến lược thứ hai thất bại do khâu tích hợp kém, gộp nhầm các mục không liên quan. Chiến lược thứ ba, MapReduce, thì thành công: mỗi nguồn được chú thích và trích xuất các thuật ngữ khóa, sau đó các thuật ngữ được đảo ngược để ánh xạ mỗi thuật ngữ tới các nguồn của nó. Một LLM đóng vai trò trọng tài sẽ lọc các thuật ngữ theo mức độ quan trọng; với những thuật ngữ quan trọng, một phần tử wiki được tạo ra kèm theo tóm tắt, thuộc tính và liên kết tới các phần tử liên quan. Pipeline này sử dụng gpt-5-mini từ một nhà cung cấp proxy và gemma4:26b chạy trên Ollama cục bộ. gpt-5-mini có xu hướng đánh giá quá cao mức độ quan trọng và đôi khi tự ý thêm thuật ngữ, nhưng một bộ liên kết (linker) sẽ phát hiện việc này; còn gemma4:26b thì chặt chẽ hơn nhưng lại gặp khó khăn với đầu ra có cấu trúc, khiến tác giả phải xử lý tách trong mã nguồn. Về chi phí: Claude Code tốn 3–4 USD cho mỗi 100KB văn bản nguồn, gpt-5-mini tốn 1,1–1,3 USD, trong khi gemma4:26b chỉ tốn tiền điện nhưng lại rất chậm (12 token/giây, mất cả một ngày để chạy xong pipeline). Bản triển khai mang tên Wiki-assembler là một pipeline Python gồm năm đến sáu agent LangChain đơn giản cùng hai khối được viết cứng (hardcode), đồng thờ tránh dùng ReAct vì Gemma dễ rơi vào vòng suy luận vô hạn. Các bước của pipeline bao gồm chú thích và phân loại, lọc thuật ngữ khóa thông qua một LLM trọng tài, xây dựng các phần tử wiki và liên kết chúng với nhau.