Henkilökohtaisen wikin rakentaminen ilman Claude Codea: MapReduce-pohjainen putkisto

Andrej Karpathyn ajatuksesta LLM-generoiduista wikeistä innoittuneena kirjoittaja (Habr-käyttäjä) tutkii vaihtoehtoja Claude Codelle henkilökohtaisen wikin rakentamiseen. Testattiin kolmea strategiaa: peräkkäinen erottelu muistikontekstin kanssa, eräerottelu erillisen integraatioagentin kanssa sekä MapReduce-lähestymistapa. Ensimmäinen epäonnistui, koska heikot mallit menettivät elementtejä, kun määrä ylitti kymmenen. Toinen epäonnistui huonon integraation vuoksi, joka yhdisti toisiinsa liittymättömiä kohteita. Kolmas, MapReduce, onnistui: jokainen lähde merkitään ja avaintermit erotellaan, minkä jälkeen termit käännetään, jolloin jokainen termi yhdistyy lähteisiinsä. LLM-tuomari suodattaa termit tärkeyden mukaan; tärkeille termeille luodaan wiki-elementti, jossa on yhteenveto, ominaisuudet ja linkit liittyviin elementteihin. Putkisto käyttää gpt-5-miniä välittäjäpalveluntarjoajalta ja gemma4:26b:tä paikallisesta Ollamasta. gpt-5-mini yliarvioi merkityksen ja lisää joskus termejä omiaan, mutta linkittäjä huomaa tämän; gemma4:26b on tiukempi, mutta kamppailee jäsennellyn tulosteen kanssa, mikä vaatii koodin jakamista. Kustannukset: Claude Code maksaa 3–4 dollaria per 100 kilotavua lähdetekstiä, gpt-5-mini 1,1–1,3 dollaria, kun taas gemma4:26b maksaa vain sähköä, mutta on hidas (12 tokenia sekunnissa, koko putkisto vie päivän). Toteutus, Wiki-assembler, on Python-putkisto, jossa on viisi tai kuusi yksinkertaista LangChain-agenttia ja kaksi kovakoodattua lohkoa, ja se välttää ReActin Gemman äärettömän päättelyn vuoksi. Putkiston vaiheet sisältävät merkinnän ja luokittelun, avaintermien suodattamisen LLM-tuomarin avulla, wiki-elementtien rakentamisen ja niiden linkittämisen.