lance

Lance est un format de lakehouse open source conçu pour les charges de travail d'IA multimodale. Il fournit une spécification unifiée de fichiers, de tables et de catalogue pour construire un lakehouse complet sur un stockage objet. Les fonctionnalités clés incluent une recherche hybride expressive (combinant similarité vectorielle, BM25 en texte intégral et analytique SQL), un accès aléatoire ultra-rapide (100 fois plus rapide que Parquet ou Iceberg pour l'accès aléatoire), une prise en charge native des données multimodales (images, vidéos, audio, texte, embeddings), une évolution efficace des données avec des colonnes rétro-remplies, une gestion de versions sans copie avec transactions ACID et voyage dans le temps, ainsi que de riches intégrations écosystémiques avec Apache Arrow, Pandas, Polars, DuckDB, Spark, Ray, Trino, Flink et des catalogues ouverts. Le projet comprend une implémentation principale en Rust, des bindings Python (PyO3), des bindings Java (JNI) et de la documentation. Les benchmarks montrent des temps de réponse moyens inférieurs à la milliseconde pour la recherche vectorielle sur 1 million de vecteurs et des gains de performance significatifs par rapport à Parquet pour l'accès aléatoire et l'analytique. Lance est activement développé et accueille les contributions.