flink — O Apache Flink é um framework de processamento de fluxo de código aberto que oferece capacidades poderosas tanto para streaming de dados quanto para processamento em lote.

O Apache Flink é um framework de processamento de fluxo de código aberto que oferece capacidades poderosas tanto para streaming de dados quanto para processamento em lote.

Sobre o projeto

O Apache Flink é um runtime focado em streaming, projetado para alta taxa de transferência e baixa latência de eventos. Ele suporta programas de processamento em lote e em fluxo por meio de APIs Java fluentes. As principais capacidades incluem: - Tempo de evento e processamento fora de ordem baseados no Dataflow Model. - Opções flexíveis de janelamento, incluindo janelas de tempo, contagem e sessão. - Tolerância a falhas com garantias de processamento exactly-once. - Manipulação natural de back-pressure em programas de streaming. - Bibliotecas especializadas para processamento de Graph, Machine Learning e Complex Event Processing (CEP). - Gerenciamento de memória personalizado para processamento de dados eficiente em memória e out-of-core. - Integração com o ecossistema Apache Hadoop, incluindo YARN, HDFS e HBase, com camadas de compatibilidade para MapReduce. O projeto fornece uma ampla gama de conectores externalizados para várias fontes e sinks de dados, como Kafka, Elasticsearch, MongoDB, Cassandra e AWS.