lance

Lance es un formato de lakehouse de código abierto diseñado para cargas de trabajo de IA multimodal. Proporciona una especificación unificada de archivo, tabla y catálogo para construir un lakehouse completo sobre almacenamiento de objetos. Las características clave incluyen búsqueda híbrida expresiva (que combina similitud vectorial, BM25 de texto completo y analítica SQL), acceso aleatorio ultrarrápido (100 veces más rápido que Parquet o Iceberg para acceso aleatorio), soporte nativo para datos multimodales (imágenes, videos, audio, texto, embeddings), evolución eficiente de datos con columnas rellenadas retroactivamente, versionado sin copia con transacciones ACID y viaje en el tiempo, e integraciones ricas con el ecosistema mediante Apache Arrow, Pandas, Polars, DuckDB, Spark, Ray, Trino, Flink y catálogos abiertos. El proyecto incluye una implementación central en Rust, enlaces para Python (PyO3), enlaces para Java (JNI) y documentación. Los benchmarks muestran tiempos de respuesta promedio inferiores a un milisegundo para búsqueda vectorial en 1M de vectores y mejoras significativas de rendimiento frente a Parquet para acceso aleatorio y analítica. Lance se desarrolla activamente y acepta contribuciones.