Об этом проекте

Apache Fluss — это открытая система потокового хранения, разработанная для рабочих нагрузок аналитики в реальном времени и ИИ. Она служит слоем данных реального времени для архитектур Lakehouse, устраняя разрыв между потоковой передачей данных и Lakehouse. Fluss обеспечивает прием и обработку данных с низкой задержкой и высокой пропускной способностью, интегрируясь с популярными вычислительными движками, такими как Apache Flink и Apache Spark, а поддержка StarRocks запланирована. Ключевые особенности включают: - **Субсекундная свежесть данных**: Непрерывный прием и немедленная доступность данных для аналитики с низкой задержкой и принятия решений в реальном времени. - **Унификация потоковой передачи и Lakehouse**: Использует таблицы как единую абстракцию для объединения данных реального времени и исторических данных между движками, обеспечивая потоково-ориентированное хранение с низкозадержечным доступом поверх lakehouse. - **Колоночная потоковая передача**: На основе Apache Arrow поддерживает примитивы баз данных для потоков данных, отсечение колонок и предикатное проталкивание для минимизации затрат на ввод-вывод и сеть. - **Разделение вычислений и хранения**: Потоковые процессоры сосредоточены на вычислениях, а Fluss управляет состоянием и хранением, предлагая такие функции, как дедупликация, частичные обновления, дельта-соединения и движки агрегационного слияния. - **Хранилище, готовое к ML и ИИ**: Единый слой хранения, поддерживающий строковые, колоночные, векторные и мультимодальные данные для хранилищ признаков реального времени и централизованных репозиториев данных ML/ИИ. - **Журналы изменений и отслеживание решений**: Встроенная генерация журналов изменений предоставляет историю только для добавления эволюции состояния и решений для аудита, воспроизводимости и наблюдаемости. ## Сборка Предварительные требования: Unix-подобная среда, Git, Maven (>= 3.8.6) и Java 11. ```bash git clone https://github.com/apache/fluss.git cd fluss ./mvnw clean package -DskipTests ``` Сборка использует Maven Wrapper для обеспечения корректной версии Maven. Проект устанавливается в `build-target`. ## Участие в разработке Apache Fluss — проект с открытым исходным кодом, приветствующий вклад. Вы можете присоединяться к обсуждениям, открывать задачи об ошибках или запросах функций, а также вносить код или документацию. ## Лицензия Apache Fluss распространяется под лицензией Apache License 2.0.