parquet.sourcegenerator

Parquet.SourceGenerator é um gerador de código Roslyn projetado para criar serializadores e desserializadores Parquet fortemente tipados em tempo de compilação, direcionados aos primitivos de coluna de baixo nível do Parquet.Net. Ao eliminar a reflexão em tempo de execução, ele alcança melhorias significativas de desempenho, incluindo tempos de execução mais rápidos e menor uso de memória em comparação com abordagens tradicionais baseadas em reflexão. A ferramenta suporta a compilação Native AOT, tornando-a adequada para funções serverless e utilitários CLI onde o desempenho de cold-start é crítico. Os recursos principais incluem leitura paralela de múltiplos núcleos, streaming com limite de memória via IAsyncEnumerable e ingestão direta de dados de coluna de RecordBatches do Apache Arrow. Ele impõe diagnósticos rigorosos em tempo de compilação para detectar erros cedo e suporta vários codecs de compressão, como Snappy, Zstandard e Gzip. O gerador é particularmente eficaz para esquemas analíticos planos, embora atualmente tenha limitações com coleções aninhadas e certos tipos de data.