Об этом проекте

Flow — это современный, легкий движок выполнения ETL и оркестратор рабочих процессов, реализованный как один бинарный файл на Go без внешних зависимостей. Он служит альтернативой устаревшим инструментам, таким как SSIS, и сложным код-ориентированным оркестраторам, таким как Apache Airflow. Flow сочетает декларативные XML-конвейеры с встроенным визуальным веб-редактором HTMX, позволяя пользователям проектировать, валидировать и выполнять процессы обработки данных без тяжелой инфраструктуры. Ключевые возможности включают родную поддержку множества гетерогенных баз данных (PostgreSQL, SQL Server, Oracle, MySQL, SQLite и Key-Value хранилищ) с автоматической абстракцией диалектов для SQL-заполнителей. Движок поддерживает продвинутые примитивы оркестрации, такие как параллельное выполнение, условная логика, итеративные циклы и предварительные проверки. Он интегрирует интерпретируемые скрипты на Go и SQL-запросы в рамках одного конвейера. Flow обеспечивает наблюдаемость через автоматическую телеметрию аудита, записывая статус выполнения, длительности и количество строк в таблицы `pipeline_runs` и `pipeline_events`. Он также поддерживает самодокументирующиеся конвейеры, генерируя визуальные графики Mermaid.js и предлагая возможности трансформации XSLT 3.0 для пользовательской отчетности. Конфигурация дружественна к Git, поддерживая иерархические переопределения через XML-файлы для конкретных сред и переменные командной строки во время выполнения.