Cómo construir un wiki personal sin Claude Code: canalización basada en MapReduce

Inspirado por la idea de Andrej Karpathy sobre wikis generadas por LLM, el autor (un usuario de Habr) explora alternativas a Claude Code para construir una wiki personal. Se probaron tres estrategias: extracción secuencial con memoria de contexto, extracción por lotes con un agente de integración separado y un enfoque MapReduce. La primera falló porque los modelos débiles perdían elementos cuando el recuento superaba los diez. La segunda falló debido a una integración deficiente que fusionaba elementos no relacionados. La tercera, MapReduce, tuvo éxito: cada fuente se anota y se extraen términos clave, luego los términos se invierten para mapear cada término a sus fuentes. Un juez LLM filtra los términos por importancia; para los términos importantes, se crea un elemento de wiki con resumen, propiedades y enlaces a elementos relacionados. El pipeline utiliza gpt-5-mini de un proveedor proxy y gemma4:26b de Ollama local. gpt-5-mini tiende a sobreestimar la importancia y a veces agrega términos por su cuenta, pero un enlazador lo detecta; gemma4:26b es más estricto pero tiene dificultades con la salida estructurada, lo que requiere divisiones en el código. Costos: Claude Code cuesta $3-4 por 100 KB de texto fuente, gpt-5-mini cuesta $1.1-1.3, mientras que gemma4:26b solo cuesta electricidad pero es lento (12 tokens/segundo, tardando un día completo en el pipeline). La implementación, Wiki-assembler, es un pipeline en Python con cinco o seis agentes LangChain simples y dos bloques codificados, evitando ReAct debido al razonamiento infinito de Gemma. Los pasos del pipeline incluyen anotación y categorización, filtrado de términos clave mediante un juez LLM, construcción de elementos de wiki y enlace de los mismos.