llm_wiki

# LLM Wiki LLM Wiki 是一款跨平台桌面应用，可自动将您的文档转化为组织有序、相互链接的知识库。与传统 RAG（每次从头检索并回答）不同，LLM 会从您的资料中增量构建并维护一个持久的 Wiki。知识被编译一次并保持最新，而不是在每次查询时重新推导。 本项目基于 [Karpathy 的 LLM Wiki 模式](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f) — 一种使用 LLM 构建个人知识库的方法。 ## 主要特性 ### 两步链式思维（Chain-of-Thought）摄取 - LLM 先分析，然后生成带有源头可追溯性和增量缓存的 Wiki 页面 - SHA256 增量缓存 — 未更改的文件自动跳过，节省令牌和时间 - 失败任务自动重试最多 3 次 - 语言感知生成（英文或中文） ### 多模态图像摄取 - 从 PDF 中提取嵌入图像 - 使用视觉 LLM 生成事实性标题 - 在图像感知的搜索结果中显示图像，支持灯箱预览和跳转到源位置 ### 多格式文档解析 - PDF、Office 文档、EPUB/MOBI、Org mode、图像、媒体、网页剪辑以及批量 URL - 内置、云端或本地 MinerU PDF 处理 - 通过 docx-rs 处理 DOCX — 标题、粗体/斜体、列表、表格 → 结构化 Markdown - 通过 Readability.js + Turndown.js 进行网页剪辑 → 干净的 Markdown ### 灵活的模型配置 - 按项目配置模型 - 独立路由聊天和摄取 - 管理自定义提供者、请求头和流式输出 - 多提供者支持：OpenAI、Anthropic、Google、Ollama、自定义 ### 基于源头的检索 - 只读源模式：仅从原始导入材料中回答 - 4 信号知识图谱：基于直接链接、源头重叠、Adamic-Adar 和类型亲和度的相关性模型 - Louvain 社区检测 — 自动发现知识聚类并带有凝聚度评分 - 图谱洞察 — 惊人的联系和知识空白，一键深度研究 ### 向量语义搜索（可选） - 基于嵌入的检索，使用 LanceDB - 支持任何兼容 OpenAI 的端点 - 默认禁用；在设置中启用，可独立配置端点、API 密钥和模型 - 基准测试：启用向量搜索后，整体召回率从 58.2% 提升到 71.4% ### Rust 后端聊天代理 - 支持工具使用的 Agent 运行时，包含 wiki/源/图谱/网页检索 - 工作区文件生成、shell 审批、取消和流式工具事件 - Agent 技能 — 扫描并启用本地 `SKILL.md` 文件夹，使用 `/skill` 选择技能 - 生成的工作区输出以预览形式显示，并支持快速文件夹访问 - 更安全的执行模型 — 项目工作区命令可以顺利继续，而外部 shell 命令需要明确批准 ### 深度研究 - 通过 Tavily、SerpApi 或 SearXNG 进行网络搜索，并提取完整内容 - 每个主题多次搜索查询，在摄取时由 LLM 生成 - 用户确认对话框 — 可编辑主题和搜索查询，以供审阅 - 研究面板，动态高度和实时流式进度 ### 项目管理 - 跨设备导出和导入完整项目归档 - 从现有页面重建 Wiki 索引 - 文件夹导入保留目录结构 - 删除源文件会移除对应的 wiki 摘要页面 - 3 方法匹配查找相关 wiki 页面 ### Obsidian 兼容性 - Wiki 目录可用作 Obsidian vault - 自动生成带有推荐设置的 `.obsidian/` 目录 ### 附加功能 - 三栏布局：知识树/文件树（左）+ 聊天（中）+ 预览（右） - 活动面板，实时处理状态 - 场景模板：研究、阅读、个人成长、商务、通用 - 独立聊天会话，按对话持久化 - 引用参考面板，带可折叠部分 - 支持 KaTeX 数学公式和 Mermaid 图表的 Markdown 渲染 - 上下文大小滑块，从 4K 到 1M 令牌 - Chrome Web Clipper 扩展，支持离线预览 - 本地 HTTP API + MCP 服务器 + AI Agent 技能 - i18n — 英文和中文界面 - 面向 macOS、Windows、Linux 的 GitHub Actions CI/CD ## 架构 该应用使用 Rust 后端处理聊天代理和向量搜索，前端基于 Tauri。Wiki 目录结构遵循 Karpathy 的设计，包含 purpose.md、schema.md、index.md、log.md 和 overview.md 文件。 ## 开始使用 1. 为您的平台安装应用（macOS ARM/Intel、Windows .msi、Linux .deb/.AppImage） 2. 配置您的 LLM 提供者（OpenAI、Anthropic、Google、Ollama 或自定义） 3. 导入文档或文件夹 4. 让 LLM 自动构建您的 wiki 5. 探索知识图谱、与数据聊天并运行深度研究 ## 许可证 开源软件，采用 MIT 许可证。