Een persoonlijke wiki bouwen zonder Claude Code: een op MapReduce gebaseerde pijplijn

Geïnspireerd door het idee van Andrej Karpathy over door LLM's gegenereerde wiki's, verkent de auteur (een Habr-gebruiker) alternatieven voor Claude Code voor het bouwen van een persoonlijke wiki. Er zijn drie strategieën getest: sequentiële extractie met contextgeheugen, batch-extractie met een aparte integratieagent, en een MapReduce-benadering. De eerste faalde omdat zwakke modellen elementen verloren wanneer het aantal boven de tien uitkwam. De tweede faalde vanwege slechte integratie die niet-gerelateerde items samenvoegde. De derde, MapReduce, slaagde: elke bron wordt geannoteerd en sleuteltermen worden geëxtraheerd, waarna termen worden geïnverteerd om elke term aan zijn bronnen te koppelen. Een LLM-beoordelaar filtert termen op belangrijkheid; voor belangrijke termen wordt een wiki-element gecreëerd met samenvatting, eigenschappen en links naar gerelateerde elementen. De pijplijn gebruikt gpt-5-mini van een proxyprovider en gemma4:26b van lokale Ollama. gpt-5-mini heeft de neiging om de betekenis te overschatten en voegt soms zelf termen toe, maar een linker vangt dit op; gemma4:26b is strikter maar worstelt met gestructureerde uitvoer, waardoor splits in code nodig zijn. Kosten: Claude Code kost $3-4 per 100KB bront tekst, gpt-5-mini kost $1,1-1,3, terwijl gemma4:26b alleen elektriciteit kost maar langzaam is (12 tokens per seconde, duurt een hele dag voor de pijplijn). De implementatie, Wiki-assembler, is een Python-pijplijn met vijf of zes eenvoudige LangChain-agenten en twee vastgelegde blokken, waarbij ReAct wordt vermeden vanwege Gemma's oneindige redenering. De pijplijnstappen omvatten annotatie en categorisatie, het filteren van sleuteltermen via een LLM-beoordelaar, het bouwen van wiki-elementen en het linken ervan.