pathway

Pathway es un framework de datos en vivo para Python que gestiona tanto el procesamiento de datos por lotes como el de flujos a través de una única API. Está construido sobre un motor Rust que utiliza Differential Dataflow para la computación incremental, lo que permite actualizar los pipelines en tiempo real a medida que llegan los datos. El framework proporciona conectores para Kafka, PostgreSQL, Google Drive, SharePoint y Airbyte (más de 300 fuentes), además de soporte para conectores personalizados a través de Python. Para pipelines de IA, Pathway incluye un xpack de LLM con envoltorios para los principales servicios de LLM, embedders, splitters, parsers y un índice vectorial en memoria en tiempo real. Se integra con LangChain y LlamaIndex para aplicaciones RAG. Las transformaciones con estado incluyen uniones, ventanas y ordenación, con soporte para cualquier función o biblioteca de Python. La persistencia permite reiniciar los pipelines después de fallos o actualizaciones. La consistencia es al menos una vez en la versión gratuita y exactamente una vez en el nivel empresarial. Las opciones de despliegue incluyen ejecución local mediante `pw.run()`, Docker y Kubernetes. Un panel de monitorización muestra el rendimiento de mensajes y la latencia por conector. El motor admite multihilos, multiprocesamiento y computación distribuida de forma nativa.