deeplake

Deep Lake 是一个面向 AI 的数据库，由专为深度学习应用优化的存储格式提供支持。它主要服务于两类核心用途：一是为 LLM 应用（如 RAG 和向量存储）存储和检索数据及向量；二是在训练深度学习模型时管理数据集。 README 中展示的关键能力包括： - 多模态存储：支持嵌入、音频、文本、视频、图像、DICOM、PDF、标注等数据类型； - 无服务器架构：可在客户端运行，可部署于本地、内存，或用户自己的云环境（S3、GCP、Azure，以及任何兼容 S3 的存储，如 MinIO）； - 原生压缩与类 NumPy 的懒加载索引：以原生格式（JPEG、PNG、MP4）存储媒体文件，仅在需要时加载； - 内置 PyTorch 和 TensorFlow 数据加载器，支持数据集随机打乱； - 向量搜索与查询功能； - 数据版本控制与血缘追踪； - 在 Deep Lake App 中即时可视化边界框、掩码和标注； - 预加载 100 多个热门数据集（如 MNIST、COCO、ImageNet、CIFAR、GTZAN 等）； - 集成支持：LangChain、LlamaIndex（作为向量存储）、Weights & Biases（用于血缘追踪）、MMDetection、MMSegmentation。 对比分析突出了其架构差异：与 Chroma、Pinecone、Weaviate 等需要部署服务器的向量数据库不同，Deep Lake 采用无服务器架构，计算在客户端完成；与基于文件版本控制的 DVC 不同，Deep Lake 使用分块压缩数组以实现快速流式传输；与仅限 TensorFlow 且需本地下载的 TFDS 不同，Deep Lake 可从云端同时向 PyTorch 和 TensorFlow 流式传输数据；与存储原始数组的 Zarr 不同，Deep Lake 存储针对使用场景优化的格式，并透明地处理相关流程。 Deep Lake 已被 Intel、Bayer Radiology、Matterport、ZERO Systems、红十字会、耶鲁大学和牛津大学等机构使用，可通过 `pip install deeplake` 安装。