pathway

Pathway est un framework de données temps réel pour Python qui prend en charge à la fois le traitement de données en flux et en lot via une seule API. Il est construit sur un moteur Rust utilisant Differential Dataflow pour le calcul incrémental, permettant aux pipelines d'être mis à jour en temps réel à mesure que les données arrivent. Le framework propose des connecteurs pour Kafka, PostgreSQL, Google Drive, SharePoint et Airbyte (plus de 300 sources), ainsi qu'une prise en charge de connecteurs personnalisés via Python. Pour les pipelines IA, Pathway intègre un xpack LLM proposant des wrappers pour les principaux services LLM, des modèles d'embedding, des outils de fractionnement, des analyseurs et un index vectoriel temps réel en mémoire. Il est compatible avec LangChain et LlamaIndex pour les applications RAG. Les transformations avec état incluent des jointures, des opérations de fenêtrage et de tri, avec la prise en charge de toute fonction ou bibliothèque Python. La persistance permet aux pipelines de redémarrer après des pannes ou des mises à jour. La cohérence est au moins une fois dans la version gratuite et exactement une fois dans l'offre entreprise. Les options de déploiement incluent l'exécution locale via `pw.run()`, Docker et Kubernetes. Un tableau de bord de surveillance affiche le débit de messages et la latence par connecteur. Le moteur prend en charge nativement le multithreading, le multiprocessing et le calcul distribué.