fluss

Apache Fluss é um sistema de armazenamento de streaming de código aberto projetado para cargas de trabalho de análise em tempo real e IA. Ele serve como uma camada de dados em tempo real para arquiteturas Lakehouse, preenchendo a lacuna entre streaming de dados e Lakehouse de dados. O Fluss permite ingestão e processamento de dados de baixa latência e alta taxa de transferência, integrando-se com motores de computação populares como Apache Flink e Apache Spark, com suporte a StarRocks planejado. Os principais recursos incluem: - **Frescor de dados em sub-segundos**: Ingestão contínua e disponibilidade imediata de dados para análises de baixa latência e tomada de decisão em tempo real. - **Unificação de Streaming e Lakehouse**: Usa tabelas como uma única abstração para unificar dados em tempo real e históricos entre motores, permitindo armazenamento nativo de streaming com acesso de baixa latência sobre o lakehouse. - **Streaming Colunar**: Baseado no Apache Arrow, suporta primitivas de banco de dados em fluxos de dados, poda de colunas e pushdown de predicados para minimizar custos de I/O e rede. - **Separação Computação-Armazenamento**: Processadores de stream focam na computação enquanto o Fluss gerencia estado e armazenamento, oferecendo recursos como deduplicação, atualizações parciais, junções delta e mecanismos de mesclagem de agregação. - **Armazenamento pronto para ML e IA**: Uma camada de armazenamento unificada que suporta dados baseados em linhas, colunares, vetoriais e multimodais para feature stores em tempo real e repositórios centralizados de dados de ML/IA. - **Changelogs e rastreamento de decisões**: A geração integrada de changelog fornece um histórico somente de acréscimos da evolução de estado e decisões para auditoria, reprodutibilidade e observabilidade. ## Compilação Pré-requisitos: ambiente semelhante ao Unix, Git, Maven (>= 3.8.6) e Java 11. ```bash git clone https://github.com/apache/fluss.git cd fluss ./mvnw clean package -DskipTests ``` A compilação usa o Maven Wrapper para garantir a versão correta do Maven. O projeto é instalado em `build-target`. ## Contribuindo Apache Fluss é de código aberto e aceita contribuições. Você pode participar de discussões, abrir issues para bugs ou solicitações de recursos e contribuir com código ou documentação. ## Licença Apache Fluss é licenciado sob a Licença Apache 2.0.