Об этом проекте

Lance — это открытый формат lakehouse с открытым исходным кодом, предназначенный для мультимодальных рабочих нагрузок ИИ. Он предоставляет единую спецификацию файлов, таблиц и каталогов для построения полноценного lakehouse на объектном хранилище. Ключевые возможности включают выразительный гибридный поиск (сочетающий векторное сходство, полнотекстовый BM25 и SQL-аналитику), молниеносно быстрый произвольный доступ (в 100 раз быстрее, чем Parquet или Iceberg, для произвольного доступа), нативную поддержку мультимодальных данных (изображения, видео, аудио, текст, эмбеддинги), эффективную эволюцию данных с обратно заполняемыми столбцами, версионирование с нулевым копированием с ACID-транзакциями и путешествием во времени, а также богатые интеграции с экосистемой Apache Arrow, Pandas, Polars, DuckDB, Spark, Ray, Trino, Flink и открытыми каталогами. Проект включает основную реализацию на Rust, привязки для Python (PyO3), привязки для Java (JNI) и документацию. Бенчмарки показывают среднее время отклика менее миллисекунды для векторного поиска по 1 млн векторов и значительный прирост производительности по сравнению с Parquet для произвольного доступа и аналитики. Lance активно развивается и приветствует вклад сообщества.