Construindo uma Wiki Pessoal Sem Claude Code: Um Pipeline Baseado em MapReduce

Inspirado pela ideia de Andrej Karpathy sobre wikis geradas por LLM, o autor (um usuário do Habr) explora alternativas ao Claude Code para construir uma wiki pessoal. Três estratégias foram testadas: extração sequencial com memória de contexto, extração em lote com um agente de integração separado e uma abordagem MapReduce. A primeira falhou porque modelos fracos perdiam elementos quando a contagem ultrapassava dez. A segunda falhou devido à integração ruim, que mesclava itens não relacionados. A terceira, MapReduce, foi bem-sucedida: cada fonte é anotada e termos-chave são extraídos; em seguida, os termos são invertidos para mapear cada termo às suas fontes. Um juiz LLM filtra termos por importância; para termos importantes, um elemento de wiki é criado com resumo, propriedades e links para elementos relacionados. O pipeline usa gpt-5-mini de um provedor proxy e gemma4:26b do Ollama local. O gpt-5-mini tende a superestimar a significância e às vezes adiciona termos por conta própria, mas um linker detecta isso; o gemma4:26b é mais rigoroso, mas tem dificuldade com saída estruturada, exigindo divisões no código. Custos: Claude Code custa de 3 a 4 dólares por 100KB de texto-fonte, o gpt-5-mini custa de 1,1 a 1,3 dólares, enquanto o gemma4:26b custa apenas eletricidade, mas é lento (12 tokens por segundo, levando um dia inteiro para o pipeline). A implementação, Wiki-assembler, é um pipeline em Python com cinco ou seis agentes LangChain simples e dois blocos codificados, evitando ReAct devido ao raciocínio infinito do Gemma. As etapas do pipeline incluem anotação e categorização, filtragem de termos-chave por um juiz LLM, construção de elementos de wiki e sua vinculação.