lilbee

lilbee é uma pilha de IA local em um único executável. Ele executa e gerencia modelos locais (chat, embedding, visão, rerank) nas GPUs disponíveis, e os usa como um mecanismo de busca conversacional sobre seus arquivos, notas, código e páginas web rastreadas, com respostas que citam o arquivo e a linha exatos. Principais capacidades descritas no README: - Gerenciamento de modelos: construído sobre llama.cpp, com seu próprio gerenciador de modelos e frota multi-GPU. Navegue pelo Hugging Face, baixe modelos, atribua funções e execute-os em Metal, Vulkan, CUDA ou ROCm. Não exige Ollama ou LM Studio, mas pode apontar para uma configuração existente. - Interfaces: interface de terminal, CLI, servidor Model Context Protocol (MCP) para agentes de codificação, API HTTP/REST e uma biblioteca Python. Um plugin da comunidade Obsidian expõe o mesmo mecanismo dentro de um vault. - Ingestão e busca: indexa arquivos e código locais, e inclui um rastreador web que adiciona sites à biblioteca. As respostas são citadas de volta aos locais de origem. - Privacidade: arquivos, índice, embeddings, perguntas e respostas permanecem na máquina; sem telemetria, sem conta e sem chamadas à nuvem, a menos que um modelo de nuvem seja configurado. - Canais de instalação: binários autônomos, além de lançadores Homebrew, AUR, Nix, Docker (GHCR), Flatpak, Snap, Scoop e npm, bem como pip/uv para desenvolvedores. Existem builds específicos de fornecedor para NVIDIA CUDA, AMD ROCm e CPUs pre-AVX2 (build de compatibilidade). - Plataformas: macOS, Linux e Windows. Builds para Linux incluem o carregador Vulkan; a detecção de GPU precisa do carregador Vulkan do sistema instalado. - OCR opcional para PDFs digitalizados e imagens via Tesseract ou um modelo de visão GGUF. O projeto é explicitamente rotulado como beta ativo: lançamentos no PyPI são pré-lançamentos que exigem --pre, e interfaces, nomes de comandos e formatos em disco podem mudar entre betas.