pathway

Pathwayは、単一のAPIでストリームデータとバッチデータの両方の処理を扱うPython向けライブデータフレームワークです。増分計算のためにDifferential Dataflowを利用したRustエンジンを基盤として構築されており、データが到着するとパイプラインをリアルタイムで更新できます。 このフレームワークは、Kafka、PostgreSQL、Google Drive、SharePoint、Airbyte（300以上のデータソース）向けのコネクタを提供しており、Pythonを介したカスタムコネクタの作成にも対応しています。 AIパイプライン向けには、Pathwayは主要なLLMサービス向けラッパー、エンベッダー、スプリッター、パーサー、インメモリ型リアルタイムベクトルインデックスを備えたLLM xpackを搭載しています。RAGアプリケーションではLangChainやLlamaIndexとの連携にも対応しています。 状態を持つ変換処理には、ジョイン、ウィンドウ処理、ソートが含まれ、任意のPython関数やライブラリの使用をサポートしています。永続化機能により、クラッシュやアップデート後にパイプラインを再起動できます。一貫性は無料版でアットリーストワンス（少なくとも1回）、エンタープライズ版でエクザクトリーワンス（厳密に1回）を保証しています。 デプロイオプションとしては、`pw.run()`を利用したローカル実行、Docker、Kubernetesが含まれます。モニタリングダッシュボードではコネクタごとのメッセージスループットとレイテンシーを確認できます。エンジンはマルチスレッド、マルチプロセス、分散コンピューティングを標準でサポートしています。