pathway

Pathway é um framework de dados em tempo real para Python que lida com processamento de dados streaming e em batch por meio de uma única API. É construído em um motor Rust usando Differential Dataflow para computação incremental, permitindo que os pipelines sejam atualizados em tempo real conforme os dados chegam. O framework oferece conectores para Kafka, PostgreSQL, Google Drive, SharePoint e Airbyte (300+ fontes), além de suporte a conectores personalizados via Python. Para pipelines de IA, o Pathway inclui um xpack de LLM com wrappers para principais serviços de LLM, embedders, splitters, parsers e um índice vetorial em memória em tempo real. Integra-se com LangChain e LlamaIndex para aplicações RAG. Transformações com estado incluem joins, windowing e sorting, com suporte para qualquer função ou biblioteca Python. Persistência permite que os pipelines reiniciem após crashes ou atualizações. A consistência é at-least-once na versão gratuita e exactly-once no tier enterprise. As opções de deployment incluem execução local via `pw.run()`, Docker e Kubernetes. Um dashboard de monitoramento mostra throughput de mensagens e latência por conector. O motor suporta multithreading, multiprocessing e computação distribuída nativamente.