daft

Daft é um mecanismo de dados de alto desempenho projetado para cargas de trabalho de IA e multimodais. Ele permite que os usuários processem imagens, áudio, vídeo, embeddings e dados estruturados em um único framework, e é descrito como nativo em Python com um núcleo alimentado por Rust. Principais capacidades destacadas no README: - Processamento multimodal nativo: lide com imagens, áudio, vídeo e embeddings junto com dados estruturados em um único framework. - Operações de IA integradas: execute prompts de LLM, gere embeddings e classifique dados em escala usando OpenAI, Transformers ou modelos personalizados. - Nativo em Python, alimentado por Rust: Python no núcleo com Rust nos bastidores, evitando a complexidade da JVM. - Escalonamento contínuo: comece localmente e escale para clusters distribuídos em Ray ou Kubernetes. - Conectividade universal: acesse dados de S3, GCS, Iceberg, Delta Lake, Hugging Face e Unity Catalog. - Confiabilidade pronta para uso: gerenciamento inteligente de memória e padrões sensatos. A instalação é feita via `pip install daft` e requer Python 3.10 ou superior. O README aponta para um quickstart que carrega um conjunto de dados de e-commerce do mundo real, processa imagens de produtos e executa inferência de IA em escala, além de exemplos, um guia do usuário e uma referência de API. Uma página de benchmarking também é referenciada. O projeto aceita contribuições e lista boas primeiras issues. Ele coleta telemetria não identificável via Scarf, que pode ser desativada definindo `DO_NOT_TRACK=true`; o README afirma que nenhum ID de sessão ou identificador de usuário é coletado e nenhum código proprietário ou dado é reunido. Uma tabela de comparação no README posiciona o Daft ao lado de Pandas, Polars, Modin, Ray Data, PySpark e Dask DF em atributos como otimizador de consultas, suporte multimodal, execução distribuída, suporte a Arrow, execução vetorizada e processamento fora do núcleo. O Daft é licenciado sob Apache 2.0.