Открытый код. Новые возможности.

Dotflow — легковесная библиотека на Python для создания конвейеров выполнения с декораторами @action, поддержкой повторных попыток, параллельного выполнения, наблюдаемости и развертывания на 34+ облачных платформах.

Dagster — это облачный оркестратор конвейеров данных, предназначенный для разработки, эксплуатации и мониторинга информационных активов на протяжении всего их жизненного цикла.

Apache Airflow — это платформа для программного создания, планирования и мониторинга рабочих процессов в виде кода, часто используемая для конвейеров данных и оркестрации AI/ML.

Pathway — Python-фреймворк для потоковой обработки данных, real-time аналитики и AI-пайплайнов, включая LLM и RAG. Работает на Rust-движке для инкрементальных вычислений, поддерживает batch и streaming данные через единый API, деплоится через Docker и Kubernetes.

Серверлесс-конвейер кликстрим-данных на AWS: ингестия через API Gateway, Kinesis, обработка и сохранение в Parquet через Firehose и S3, каталогизация Glue, запросы через Athena. IaC на AWS SAM.

Flow — это высокопроизводительный движок ETL и оркестратор рабочих процессов в виде одного бинарного файла на Go, с встроенным визуальным веб-редактором, декларативными XML-конвейерами, поддержкой кросс-баз данных и встроенной телеметрией аудита.

Kestra — это open-source платформа оркестрации с событийным управлением, предназначенная для рабочих процессов данных, ИИ и инфраструктуры, использующая декларативный интерфейс YAML.

CocoIndex — фреймворк инкрементального индексирования с открытым исходным кодом для предоставления AI-агентам и LLM-приложениям актуального контекста путём переработки только изменённых данных.

Vector — это open-source конвейер наблюдательности на Rust, который собирает, преобразует и маршрутизирует логи и метрики в роли агента или агрегатора, помогая контролировать поток телеметрии и снижать затраты на вендоров.