deeplake

Deep Lake은 딥러닝 애플리케이션에 최적화된 스토리지 포맷으로 구동되는 AI용 데이터베이스입니다. 두 가지 주요 사용 사례를 제공합니다: LLM 애플리케이션(RAG, 벡터 스토어)을 위한 데이터 및 벡터 저장·검색, 그리고 딥러닝 모델 훈련 중 데이터셋 관리입니다. README에 명시된 주요 기능: - 멀티모달 저장: 임베딩, 오디오, 텍스트, 비디오, 이미지, DICOM, PDF, 주석 등 - 서버리스 아키텍처: 클라이언트 측에서 실행되며, 로컬, 인메모리, 또는 사용자 자체 클라우드(S3, GCP, Azure, MinIO 같은 S3 호환 스토리지)에 배포 가능 - 네이티브 압축 및 지연 NumPy 유사 인덱싱: 미디어를 네이티브 형식(JPEG, PNG, MP4)으로 저장하고 필요할 때만 로드 - 데이터셋 셔플링을 포함한 PyTorch 및 TensorFlow용 내장 데이터로더 - 벡터 검색 및 쿼리 기능 - 데이터 버전 관리 및 계보 추적 - Deep Lake 앱에서 즉시 시각화(경계 상자, 마스크, 주석) - 100개 이상의 사전 로드된 인기 데이터셋(MNIST, COCO, ImageNet, CIFAR, GTZAN 등) - 통합: LangChain, LlamaIndex(벡터 스토어), Weights & Biases(계보), MMDetection, MMSegmentation 비교를 통해 아키텍처 차이점이 강조됩니다: Chroma, Pinecone, Weaviate(서버 배포가 필요한 벡터 데이터베이스)와 달리 Deep Lake은 클라이언트 측 컴퓨팅을 사용하는 서버리스입니다. 파일 기반 버전 관리인 DVC와 달리 Deep Lake은 빠른 스트리밍을 위해 청크 압축 배열을 사용합니다. TensorFlow 전용이며 로컬 다운로드가 필요한 TFDS와 달리 Deep Lake은 클라우드에서 PyTorch와 TensorFlow 모두로 스트리밍합니다. 원시 배열 저장소인 Zarr와 달리 Deep Lake은 사용 사례에 최적화된 형식으로 저장하고 처리를 투명하게 처리합니다. Intel, Bayer Radiology, Matterport, ZERO Systems, Red Cross, Yale, Oxford에서 사용 중입니다. `pip install deeplake`로 설치 가능합니다.