pathway

Pathway — это фреймворк для работы с живыми данными на Python, обрабатывающий как потоковые, так и пакетные данные через единый API. Он построен на Rust-движке с использованием Differential Dataflow для инкрементальных вычислений, что позволяет пайплайнам обновляться в реальном времени по мере поступления данных. Фреймворк предоставляет коннекторы для Kafka, PostgreSQL, Google Drive, SharePoint и Airbyte (300+ источников), а также поддерживает создание пользовательских коннекторов на Python. Для AI-пайплайнов Pathway включает LLM xpack с обёртками для основных LLM-сервисов, embedders, splitters, parsers и in-memory real-time векторным индексом. Интегрируется с LangChain и LlamaIndex для RAG-приложений. Stateful-трансформации включают joins, windowing и sorting, с поддержкой любых Python-функций и библиотек. Persistence позволяет перезапускать пайплайны после сбоев или обновлений. Consistency: at-least-once в бесплатной версии и exactly-once в enterprise-версии. Варианты деплоя включают локальное выполнение через `pw.run()`, Docker и Kubernetes. Dashboard мониторинга отображает throughput и latency сообщений для каждого коннектора. Движок поддерживает multithreading, multiprocessing и distributed computation из коробки.