Claude Codeなしで個人Wikiを構築：MapReduceベースのパイプライン

Andrej KarpathyによるLLM生成ウィキのアイデアに触発された著者（Habrユーザー）は、個人ウィキを構築するためのClaude Codeの代替案を探求しています。3つの戦略がテストされました：コンテキストメモリを使った逐次抽出、独立した統合エージェントを使ったバッチ抽出、そしてMapReduceアプローチです。最初のものは、弱いモデルが要素数が10を超えると要素を失うため失敗しました。2番目は、無関係なアイテムをマージする貧弱な統合のため失敗しました。3番目のMapReduceは成功しました：各ソースが注釈付けされキータームが抽出され、その後タームが反転されて各タームが各ソースにマッピングされます。LLMジャッジが重要度に基づいてタームをフィルタリングし、重要なタームについては、要約、プロパティ、関連要素へのリンクを含むウィキ要素が作成されます。パイプラインは、プロキシプロバイダーからのgpt-5-miniと、ローカルOllamaからのgemma4:26bを使用します。gpt-5-miniは重要性を過大評価する傾向があり、時には独自にタームを追加しますが、リンカーがこれを検出します。gemma4:26bはより厳格ですが、構造化出力に苦労し、コードでの分割が必要です。コスト：Claude Codeはソーステキスト100KBあたり3〜4ドル、gpt-5-miniは1.1〜1.3ドルですが、gemma4:26bは電気代のみで済みますが遅く（毎秒12トークン、パイプライン全体に丸一日かかります）。実装であるWiki-assemblerは、5つまたは6つのシンプルなLangChainエージェントと2つのハードコードされたブロックを持つPythonパイプラインで、Gemmaの無限推論のためReActは避けています。パイプラインのステップには、注釈付けと分類、LLMジャッジによるキータームのフィルタリング、ウィキ要素の構築、およびリンク付けが含まれます。