llm_wiki

# LLM Wiki LLM Wikiは、ドキュメントを自動的に整理された相互リンク付き知識ベースに変換するクロスプラットフォームのデスクトップアプリケーションです。従来のRAG（毎回ゼロから検索して回答する方式）とは異なり、LLMはソースから永続的なWikiを段階的に構築・維持します。知識は一度コンパイルされ最新に保たれ、クエリのたびに再導出されることはありません。 このプロジェクトは、Karpathyの「LLM Wikiパターン」に基づいています。— LLMを使って個人用知識ベースを構築するための方法論です。 ## 主な機能 ### 2段階のチェーン・オブ・ソート取り込み - LLMが最初に分析し、その後ソーストレーサビリティと増分キャッシュ付きのWikiページを生成します - SHA256増分キャッシュ — 変更されていないファイルは自動的にスキップされ、トークンと時間を節約します - 失敗したタスクは最大3回自動再試行されます - 言語認識生成（英語または中国語） ### マルチモーダル画像取り込み - PDFから埋め込み画像を抽出 - ビジョンLLMで事実に基づくキャプションを生成 - 画像認識対応の検索結果に画像を表示し、ライトボックスプレビューとソースへのジャンプを提供 ### マルチフォーマット文書解析 - PDF、Office文書、EPUB/MOBI、Orgモード、画像、メディア、Webクリップ、URLの一括取り込み - 内蔵、クラウド、またはローカルMinerU PDF処理 - docx-rsによるDOCX — 見出し、太字/斜体、リスト、テーブル → 構造化Markdown - Readability.js + Turndown.jsによるWebクリップ → クリーンなMarkdown ### 柔軟なモデル設定 - プロジェクトごとにモデルを設定 - ChatとIngestを独立してルーティング - カスタムプロバイダー、ヘッダー、ストリーミング出力を管理 - マルチプロバイダー対応: OpenAI、Anthropic、Google、Ollama、カスタム ### ソースに基づく検索 - 元のインポート資料のみから回答する「ソースのみ読み取り」モード - 4シグナルナレッジグラフ: 直接リンク、ソース重複、Adamic-Adar、型親和性を用いた関連性モデル - Louvainコミュニティ検出 — 凝集スコアによる自動知識クラスター発見 - グラフインサイト — 意外な関連性と知識ギャップをワンクリックのディープリサーチで表示 ### ベクトル意味検索（オプション） - LanceDBによる埋め込みベースの検索 - OpenAI互換の任意のエンドポイントをサポート - デフォルトでは無効。設定で独立したエンドポイント、APIキー、モデル設定とともに有効化 - ベンチマーク: ベクトル検索を有効にすると全体的な再現率が58.2%から71.4%に向上 ### Rustバックエンドチャットエージェント - Wiki/ソース/グラフ/Web検索を備えたツール使用エージェントランタイム - ワークスペースファイル生成、シェル承認、キャンセル、ストリーミングツールイベント - エージェントスキル — ローカルの`SKILL.md`フォルダーをスキャンして有効化し、`/skill`でスキルを選択 - 生成されたワークスペース出力はプレビューとして表示され、フォルダーへのクイックアクセスが可能 - より安全な実行モデル — プロジェクトワークスペースのコマンドはスムーズに継続可能、外部シェルコマンドは明示的な承認が必要 ### ディープリサーチ - Tavily、SerpApi、またはSearXNGによるWeb検索と全文コンテンツ抽出 - トピックごとに複数の検索クエリを生成（取り込み時にLLMが生成） - ユーザー確認ダイアログ — 編集可能なトピックと検索クエリを確認用に表示 - 動的高さとリアルタイムストリーミング進行状況を備えたリサーチパネル ### プロジェクト管理 - デバイス間で完全なプロジェクトアーカイブをエクスポート/インポート - 既存ページからWikiインデックスを再構築 - ディレクトリ構造を保持したフォルダーインポート - ソースファイルを削除すると、そのWikiサマリーページも削除 - 3方式のマッチングで関連するWikiページを発見 ### Obsidian互換性 - WikiディレクトリがObsidianボールトとして動作 - 推奨設定付きの`.obsidian/`ディレクトリを自動生成 ### その他の機能 - 3カラムレイアウト: ナレッジツリー/ファイルツリー（左）+ チャット（中央）+ プレビュー（右） - リアルタイム処理状況を表示するアクティビティパネル - シナリオテンプレート: リサーチ、読書、自己成長、ビジネス、一般 - 会話ごとの永続化を備えた独立したチャットセッション - 折りたたみ可能なセクションを備えた引用参考文献パネル - KaTeX数式とMermaidダイアグラムによるMarkdownレンダリング - 4K〜1Mトークンのコンテキストサイズスライダー - オフラインプレビュー付きChrome Web Clipper拡張機能 - ローカルHTTP API + MCPサーバー + AIエージェントスキル - i18n — 英語 + 中国語インターフェース - macOS、Windows、Linux向けGitHub Actions CI/CD ## アーキテクチャ このアプリケーションは、チャットエージェントとベクトル検索にRustバックエンドを使用し、Tauriベースのフロントエンドを採用しています。Wikiディレクトリ構造はKarpathyの設計に従い、purpose.md、schema.md、index.md、log.md、overview.mdファイルを含みます。 ## はじめに 1. お使いのプラットフォーム向けにアプリケーションをインストールします（macOS ARM/Intel、Windows .msi、Linux .deb/.AppImage） 2. LLMプロバイダーを設定します（OpenAI、Anthropic、Google、Ollama、またはカスタム） 3. ドキュメントまたはフォルダーをインポートします 4. LLMにWikiを自動的に構築させます 5. ナレッジグラフを探索し、データとチャットし、ディープリサーチを実行します ## ライセンス MITライセンスのオープンソースソフトウェアです。