lance

Lance는 멀티모달 AI 워크로드를 위해 설계된 오픈소스 레이크하우스 포맷입니다. 객체 스토리지에 완전한 레이크하우스를 구축하기 위한 통합 파일, 테이블, 카탈로그 사양을 제공합니다. 주요 기능으로는 표현력이 뛰어난 하이브리드 검색(벡터 유사성, 전체 텍스트 BM25, SQL 분석 결합), 초고속 랜덤 액세스(Parquet 또는 Iceberg보다 랜덤 액세스 시 100배 빠름), 멀티모달 데이터(이미지, 비디오, 오디오, 텍스트, 임베딩)의 기본 지원, 백필된 컬럼을 통한 효율적인 데이터 진화, ACID 트랜잭션 및 시간 여행을 지원하는 제로 카피 버전 관리, Apache Arrow, Pandas, Polars, DuckDB, Spark, Ray, Trino, Flink 및 오픈 카탈로그와의 풍부한 에코시스템 통합이 포함됩니다. 이 프로젝트는 핵심 Rust 구현, Python 바인딩(PyO3), Java 바인딩(JNI) 및 문서를 포함합니다. 벤치마크는 100만 벡터에 대한 벡터 검색에서 서브 밀리초 평균 응답 시간과 Parquet 대비 랜덤 액세스 및 분석에서 상당한 성능 향상을 보여줍니다. Lance는 활발히 개발 중이며 기여를 환영합니다.