Открытый код. Новые возможности.

Серверлесс-конвейер кликстрим-данных на AWS: ингестия через API Gateway, Kinesis, обработка и сохранение в Parquet через Firehose и S3, каталогизация Glue, запросы через Athena. IaC на AWS SAM.

Flow — это высокопроизводительный движок ETL и оркестратор рабочих процессов в виде одного бинарного файла на Go, с встроенным визуальным веб-редактором, декларативными XML-конвейерами, поддержкой кросс-баз данных и встроенной телеметрией аудита.

CocoIndex — фреймворк инкрементального индексирования с открытым исходным кодом для предоставления AI-агентам и LLM-приложениям актуального контекста путём переработки только изменённых данных.

Vector — это open-source конвейер наблюдательности на Rust, который собирает, преобразует и маршрутизирует логи и метрики в роли агента или агрегатора, помогая контролировать поток телеметрии и снижать затраты на вендоров.

Apache Airflow — это платформа для программного создания, планирования и мониторинга рабочих процессов в виде кода, часто используемая для конвейеров данных и оркестрации AI/ML.

Pathway — Python-фреймворк для потоковой обработки данных, real-time аналитики и AI-пайплайнов, включая LLM и RAG. Работает на Rust-движке для инкрементальных вычислений, поддерживает batch и streaming данные через единый API, деплоится через Docker и Kubernetes.