fluss

Apache Fluss est un système de stockage de streaming open-source conçu pour les charges de travail d'analytique en temps réel et d'IA. Il sert de couche de données en temps réel pour les architectures Lakehouse, comblant le fossé entre le streaming de données et le Lakehouse de données. Fluss permet une ingestion et un traitement de données à faible latence et à haut débit, tout en s'intégrant à des moteurs de calcul populaires comme Apache Flink et Apache Spark, avec un support de StarRocks prévu. Les fonctionnalités clés incluent : - **Fraîcheur des données inférieure à la seconde** : Ingestion continue et disponibilité immédiate des données pour l'analytique à faible latence et la prise de décision en temps réel. - **Unification du streaming et du Lakehouse** : Utilise les tables comme abstraction unique pour unifier les données en temps réel et historiques entre les moteurs, permettant un stockage natif de streaming avec un accès à faible latence sur le lakehouse. - **Streaming columnar** : Basé sur Apache Arrow, il prend en charge les primitives de base de données sur les flux de données, l'élagage de colonnes et le pushdown de prédicats pour minimiser les coûts d'E/S et de réseau. - **Séparation calcul-stockage** : Les processeurs de flux se concentrent sur le calcul tandis que Fluss gère l'état et le stockage, offrant des fonctionnalités comme la déduplication, les mises à jour partielles, les jointures delta et les moteurs de fusion d'agrégation. - **Stockage prêt pour le ML et l'IA** : Une couche de stockage unifiée prenant en charge les données par lignes, columnaires, vectorielles et multimodales pour les magasins de caractéristiques en temps réel et les référentiels centralisés de données ML/IA. - **Journaux de modifications et suivi des décisions** : La génération intégrée de journaux de modifications fournit un historique en ajout seul de l'évolution de l'état et des décisions pour l'audit, la reproductibilité et l'observabilité. ## Construction Prérequis : Environnement de type Unix, Git, Maven (>= 3.8.6) et Java 11. ```bash git clone https://github.com/apache/fluss.git cd fluss ./mvnw clean package -DskipTests ``` La construction utilise Maven Wrapper pour garantir la version correcte de Maven. Le projet est installé dans `build-target`. ## Contribution Apache Fluss est open-source et accueille les contributions. Vous pouvez rejoindre les discussions, ouvrir des problèmes pour des bogues ou des demandes de fonctionnalités, et contribuer au code ou à la documentation. ## Licence Apache Fluss est sous licence Apache License 2.0.