lightrag

LightRAG é um framework open-source de geração aumentada por recuperação (RAG) construído em torno de grafos de conhecimento, posicionado como uma alternativa leve ao Microsoft GraphRAG. Ele combina indexação estruturada em grafo com embeddings vetoriais em uma arquitetura de duas camadas, visando unir o RAG vetorial baseado em chunks e o RAG baseado em grafos. Principais capacidades descritas no README: - Indexação estruturada em grafo que captura dependências semânticas entre entidades, com o objetivo de superar o contexto fragmentado na recuperação baseada em chunks. - Recuperação em dois níveis com cinco modos de consulta: local (entidades e atributos específicos), global (temas macro e relações entre documentos), híbrido (local + global), ingênuo (similaridade vetorial simples sobre chunks de texto) e misto (local + global + ingênuo, o padrão). - Atualizações incrementais e exclusão seletiva: quando um documento é removido, o sistema pode usar o cache de LLM do momento da indexação para reconstruir entidades e relacionamentos afetados. - Múltiplos motores de parsing de documentos: MinerU, Docling e um motor nativo que lida com imagens, tabelas e fórmulas em documentos Word e Markdown, além de detecção inteligente de títulos para arquivos .docx usando modelos spaCy. - Quatro estratégias de divisão de texto: comprimento fixo, recursiva por caracteres, semântica vetorial e semântica por parágrafos, sendo que a última alinha os limites dos chunks com títulos, parágrafos e tabelas. - Processamento multimodal (v1.5+) conectando imagens, fórmulas e tabelas ao texto do corpo por meio do grafo de conhecimento, com integração RAG-Anything para PDFs, imagens, documentos Office, tabelas e fórmulas. - Configuração de LLM específica por função, com quatro papéis: EXTRACT, QUERY, KEYWORD e VLM, cada um configurável independentemente. - Backends de armazenamento incluindo padrões em memória com persistência em arquivo local, além de PostgreSQL, MongoDB, Neo4j, Milvus, OpenSearch e outros; PostgreSQL é recomendado para produção. - Suporte a citações para atribuição de fontes, suporte a reranker, integração de avaliação RAGAS e rastreamento Langfuse. Implantação e uso: - Instalável via PyPI como lightrag-hku com o extra api, ou a partir do código-fonte usando uv ou pip; um Makefile fornece alvos como make dev e make env-base. - Implantação via Docker Compose é suportada, com imagens oficiais GHCR assinadas via Sigstore Cosign; existe um guia de configuração para Apple Container no Apple Silicon sem Docker Desktop. - Um assistente de configuração interativo gera arquivos .env e docker-compose.final.yml para configurações de LLM, embeddings, reranker, armazenamento, servidor, autenticação e SSL. - O servidor expõe uma interface web e uma API REST; o README alerta que a autenticação (LIGHTRAG_API_KEY ou AUTH_ACCOUNTS com TOKEN_SECRET) deve ser configurada antes da exposição à rede, e que rotas compatíveis com Ollama /api/* permanecem abertas por padrão, a menos que WHITELIST_PATHS seja definido. - Dependências opcionais do sistema incluem libcairo para rasterização SVG no parsing nativo de markdown/textpack e modelos de linguagem spaCy para detecção inteligente de títulos em docx. As orientações de modelo no README sugerem um modelo rápido sem raciocínio para extração, um modelo mais forte para responder consultas, um modelo leve sem raciocínio para extração de palavras-chave e um modelo multimodal para tarefas VLM; os modelos de embedding devem ser escolhidos antes da indexação e mantidos consistentes, com BAAI/bge-m3 sugerido para implantação local. O projeto está associado a um artigo arXiv (2410.05779) e é descrito como aceito no EMNLP 2025.