À propos du projet

Parquet.SourceGenerator est un générateur de source C# Roslyn conçu pour créer des sérialiseurs et des désérialiseurs Parquet fortement typés à temps de compilation, ciblant les primitives columnaires de bas niveau de Parquet.Net. En éliminant la réflexion d'exécution, il atteint des améliorations de performances significatives, y compris des temps d'exécution plus rapides et une utilisation mémoire réduite par rapport aux approches basées sur la réflexion traditionnelle. L'outil prend en charge la compilation Native AOT, le rendant adapté aux fonctions sans serveur et aux utilitaires CLI où les performances de démarrage à froid sont critiques. Les fonctionnalités clés incluent la lecture parallèle sur plusieurs cœurs, le streaming borné par la mémoire via IAsyncEnumerable et l'ingestion directe de données columnaires à partir d'Apache Arrow RecordBatches. Il applique des diagnostics stricts à temps de compilation pour détecter les erreurs tôt et prend en charge divers codecs de compression tels que Snappy, Zstandard et Gzip. Le générateur est particulièrement efficace pour les schémas analytiques plats, bien qu'il ait actuellement des limitations avec les collections imbriquées et certains types de date.