llm-wiki-compiler

llmwiki（npmパッケージ llm-wiki-compiler）は、生のソース素材を、引用、メタデータ、レビュー状態を備えた相互リンクされたmarkdown wikiへ変換するコマンドラインのナレッジコンパイラです。これはAndrej KarpathyのLLM Wikiパターンの具体的な実装です。クエリ時に生のチャンクを取得するのではなく、知識を一度コンパイルして永続的なページにし、構造と来歴を蓄積します。 できること 2段階のLLMパイプラインがソースから概念を抽出し、その後concept、entity、comparison、overviewなどの型付きページを生成します。段落と主張はソースファイルと行範囲を引用し、lintコマンドがそれらのリンクを検証します。デフォルトプロファイルはconcepts-and-queriesのレイアウトを保持し、オプションのプロファイルはコンパイラ自体を分岐させることなく、ドメイン固有の型とワークフローを追加します。 主な機能 - 設定可能なライフサイクルプロファイル: 検証済みの.llmwiki/profile.jsonが、型付きエンティティ、フィールド、有向関係、ライフサイクル状態、遷移の証拠、トラストゲート、多段階ワークフロー、ハッシュ固定されたアーティファクト、コネクタ、コンテンツ階層、検索ポリシーを宣言します。ルールはプロンプトの慣習ではなくランタイムによって強制され、無効なプロファイルはフェイルクローズします。 - インストール可能なドメインテンプレート: autosci（論文、アイデア、実験、原稿、証拠アーティファクト、Crossrefインポート）やnewsroom（記事、デスク、署名、編集ワークフロー）などの組み込みテンプレート。テンプレートには設定と例が含まれ、実行可能なプラグインコードは含まれません。署名付きテンプレート配布はEd25519署名、キーローテーション、失効を使用し、発見のために明示的に信頼されたタップを用います。 - ハイブリッド検索: セマンティックチャンク検索、BM25リランキング、wikilinkグラフ拡張により、クエリとエージェント向けのコンパクトな証拠パックを構築します。 - ローカルビューア: 検索、ページメタデータ、グラフ探索、ソース鮮度バッジ、引用チップを備えた読み取り専用のブラウザUI。バージョン1.3では4つのテーマが追加されています。 - レビューポリシー: 信頼度、矛盾、スキーマ、来歴のルールに抵触した場合、生成されたページを候補として保留できます。 - 鮮度修復: lintとnextが古くなったページや孤立したページを表面化します。refresh --staleは、無関係な新規ソースをコンパイルすることなく、変更された知識を修復します。 - Evalハーネス: ヘルススコア、ページごとのヘルス分布、wikilinkグラフのヘルス、引用カバレッジと精度、コーパス統計、回帰デルタを報告し、引用サポート用のオプションのjudgeモデルを備えます。 - MCPサーバー: ingest、compile、query、lint、read、status、eval、context-pack、OKF exchangeツールをMCP互換エージェントに公開します。 - SDK: createWiki({ root })がTypeScriptからingest、compile、query、context、status、export、eval、OKFインポート/エクスポートを駆動します。 - Open Knowledge Format交換: OKFバンドルをエクスポートおよびインポートします。外部インポートはデフォルトでレビューキューを経由してステージングされ、信頼されたバンドルは明示的にライブ書き込み可能です。 - その他のエクスポート: JSON、JSON-LD、GraphML、Marpスライド、llms.txt。 - プロバイダのポータビリティ: Anthropic、Claude Agent SDKローカルログイン、OpenAI Codex CLIローカルログイン、OpenAI互換サーバー、Ollama、GitHub Copilot、Atlas Cloud、OrcaRouter、ローカルのOpenAI互換ランタイム。 プロジェクトレイアウト プロジェクトは生の入力をsources/に、コンパイル済みmarkdownをwiki/（concepts、queries、プロファイル宣言された型付きページ、グラフストア、outputs、生成されたindex）に、コンパイラ状態を.llmwiki/（profile、config、schema、state、candidates、workflows、eval履歴）に保持します。アーティファクトはハッシュ固定されたファイルとマニフェストであり、log.mdはアクティビティジャーナルです。 品質と安全性のモデル このプロジェクトは監査可能な生成知識を重視します。書き込み前レビューポリシー、ランタイム強制のプロファイルフロア、信頼されていない外部コネクタデータをフェンス付きレビュー候補としてステージング、パス制限およびハッシュ検証されたアーティファクト、フェイルクローズ設定、ソース制限、明示的な鮮度状態、lintとevalによるCI品質ゲート。 スケールに関する注記 インクリメンタルコンパイルは未変更のソースをスキップし、並列コンパイルは設定可能な並行上限の下で抽出と生成を実行し、チャンクレベルの埋め込みはリランキング前に大規模wikiを絞り込み、コンテンツハッシュ対応の埋め込み更新は再計算を回避し、バッチ埋め込みはレイテンシを削減し、バイナリ埋め込みストレージは64 MiBのJSON制限を超えるストアを扱い、レキシカルフォールバックはプロバイダに埋め込みエンドポイントがない場合でもクエリとコンテキストのワークフローを利用可能に保ちます。 要件と使用方法 Node.js 24以降が必要です。典型的な使用方法は、npm install -g llm-wiki-compiler、プロバイダAPIキーの設定、その後ファイルまたはURLでquickstartを実行し、コンパイル済みwikiをクエリし、ビューアを開くことです。READMEは、このツールが永続的なプロジェクトまたはドメインwiki（研究フォルダ、コードベースドキュメント、チームハンドブック、標準、意思決定ログ）に適しており、プレーンな検索で十分な高頻度で変化する生ログにはあまり適していないと述べています。初期段階のソフトウェアと説明されています。