delta-explain

delta-explain é uma ferramenta de diagnóstico somente leitura que torna visível a poda do Delta Lake. Ela analisa o log de transações de uma tabela Delta (ou um local na nuvem) para ilustrar como a poda por partição e as estatísticas de coluna reduzem o conjunto de arquivos candidatos para um predicado no estilo SQL fornecido. Você pode executá-la pelo shell (`delta-explain ./my-table --where "age > 40 AND country = 'DE'"`), pelo Python (`from delta_explain import explain; report = explain(...)`), ou incorporá-la ao CI como um gate (`--min-pruning 90 --assert-stats`). A ferramenta nunca toca nos arquivos de dados Parquet – apenas no log – mantendo sua superfície pequena e suas garantias documentadas. As opções de instalação incluem Homebrew, PyPI, Cargo, Docker e binários pré-compilados. Ela oferece suporte a caminhos locais e URIs de nuvem (S3, Azure, GCS) com tratamento de credenciais específico de cada provedor. Os relatórios são emitidos como um contrato JSON versionado; um visualizador HTML autocontido pode renderizar funis de poda, detalhes por arquivo e diagnósticos. O desempenho escala com o número de entradas de log, não com o volume de dados. Com 200 mil arquivos, a ferramenta é executada em cerca de 1–2 s e usa aproximadamente 300 MB de RAM. Esquemas largos ou muitos arquivos aumentam a memória linearmente, e o tamanho da saída pode ser limitado com `--limit`. O projeto também funciona como uma GitHub Action para gate de CI, expondo percentuais de poda e contagens de arquivos como saídas de etapa. Os principais recursos incluem: * Visualização da poda passo a passo (primeiro partição, depois estatísticas) * Listagens detalhadas por arquivo (motivos de manutenção/descarte, tamanhos, intervalos de estatísticas) * Gates de CI baseados em limites (`--min-pruning`, `--assert-stats`) * Relatórios validados por esquema JSON e um visualizador HTML * Binários multiplataforma (Linux, macOS, Windows) e imagens Docker * Documentação completa, exemplos e um artigo aprofundado sobre o design. A ferramenta é construída sobre delta-kernel-rs, estritamente somente leitura e lançada sob a licença MIT.