lilbee

lilbee 是一个单可执行文件的本地 AI 栈。它跨可用 GPU 运行和管理本地模型（聊天、嵌入、视觉、重排），并将它们用作对话式搜索引擎，检索你的文件、笔记、代码和抓取的网页，回答时会引用确切的文件和行号。 README 中描述的关键能力： - 模型管理：基于 llama.cpp 构建，带有自己的模型管理器和多 GPU 集群。可浏览 Hugging Face、下载模型、分配角色，并在 Metal、Vulkan、CUDA 或 ROCm 上运行。它不要求使用 Ollama 或 LM Studio，但可以指向现有设置。 - 接口：终端 UI、CLI、面向编码代理的 Model Context Protocol (MCP) 服务器、HTTP/REST API 和 Python 库。一个 Obsidian 社区插件在 vault 内暴露同一引擎。 - 摄取与搜索：索引本地文件和代码，并包含一个网页爬虫，可将站点加入库中。回答会引用回源位置。 - 隐私：文件、索引、嵌入、问题和回答都保留在本机；无遥测、无账户，除非配置了云模型，否则不进行云调用。 - 安装渠道：独立二进制文件，以及 Homebrew、AUR、Nix、Docker (GHCR)、Flatpak、Snap、Scoop 和 npm 启动器，还有面向开发者的 pip/uv。存在针对 NVIDIA CUDA、AMD ROCm 和 pre-AVX2 CPU（兼容构建）的厂商特定构建。 - 平台：macOS、Linux 和 Windows。Linux 构建捆绑 Vulkan 加载器；GPU 检测需要系统安装 Vulkan 加载器。 - 可选 OCR，通过 Tesseract 或 GGUF 视觉模型处理扫描版 PDF 和图像。 该项目明确标记为 active beta：PyPI 上的发布是预发布版本，需要 `--pre`，并且接口、命令名称和磁盘格式可能在 beta 之间发生变化。