클로드 코드 없이 개인 위키 구축하기: 맵리듀스 기반 파이프라인

Andrej Karpathy가 제안한 대규모 언어 모델(LLM) 기반 위키 생성 아이디어에 영감을 받아, 저자(Habr 사용자)는 개인 위키를 구축하기 위한 Claude Code의 대안을 모색했다. 시도된 전략은 세 가지다. 컨텍스트 메모리를 활용한 순차적 추출, 별도의 통합 에이전트를 두는 배치 추출, 그리고 MapReduce 방식이다. 첫 번째 방식은 요소의 수가 10개를 넘어가면 성능이 낮은 모델이 요소를 누락시키는 탓에 실패했다. 두 번째 방식은 서로 관련 없는 항목까지 하나로 합쳐버리는 부실한 통합 때문에 실패했다. 세 번째 방식인 MapReduce는 성공을 거두었다. 각 소스에 주석을 달아 핵심 용어를 추출한 뒤, 이를 역전시켜 각 용어를 해당 출처에 매핑하는 방식이다. 이어 LLM 심판이 중요도에 따라 용어를 걸러낸다. 중요하다고 판단된 용어에 대해서는 요약, 속성, 관련 요소로의 링크를 갖춘 위키 요소가 생성된다. 이 파이프라인은 프록시 제공업체를 통해 이용하는 gpt-5-mini와 로컬 Ollama에서 돌아가는 gemma4:26b를 함께 사용한다. gpt-5-mini는 중요도를 과대평가하는 경향이 있고 가끔 임의로 용어를 추가하기도 하지만, 링커가 이를 걸러낸다. gemma4:26b는 더 엄격한 편이지만 구조화된 출력에 어려움을 겪어 코드에서 분할 처리가 필요했다. 비용을 살펴�볼 때, Claude Code는 소스 텍스트 100킬로바이트(KB)당 3~4달러, gpt-5-mini는 1.1~1.3달러가 든다. 반면 gemma4:26b는 전기요금만 들 뿐이지만 속도가 느려(초당 12토큰) 파이프라인 전체를 돌리는 데 꼬박 하루가 걸린다. 구현체인 Wiki-assembler는 단순한 LangChain 에이전트 다섯여섯 개와 하드코딩된 블록 두 개로 이루어진 Python 파이프라인으로, Gemma가 추론을 무한히 반복하는 문제 때문에 ReAct 방식은 배제했다. 파이프라인의 단계에는 주석 달기와 분류, LLM 심판을 통한 핵심 용어 필터링, 위키 요소 구축, 그리고 이들 요소의 연결이 포함된다.