flink — Apache Flink est un framework de traitement de flux open-source offrant des capacités puissantes pour le streaming de données et le traitement par lots.

Apache Flink est un framework de traitement de flux open-source offrant des capacités puissantes pour le streaming de données et le traitement par lots.

À propos du projet

Apache Flink est un runtime axé sur le streaming, conçu pour un débit élevé et une faible latence d'événement. Il prend en charge les programmes de traitement par lots et de flux via des API Java fluides. Les capacités clés incluent : - Le temps d'événement et le traitement hors ordre basés sur le Dataflow Model. - Des options de fenêtrage flexibles, notamment les fenêtres de temps, de comptage et de session. - La tolérance aux pannes avec des garanties de traitement exactly-once. - Une gestion naturelle de la contre-pression (back-pressure) dans les programmes de streaming. - Des bibliothèques spécialisées pour le traitement de graphes, le Machine Learning et le traitement d'événements complexes (CEP). - Une gestion personnalisée de la mémoire pour un traitement efficace des données en mémoire et hors cœur. - L'intégration avec l'écosystème Apache Hadoop, incluant YARN, HDFS et HBase, avec des couches de compatibilité pour MapReduce. Le projet fournit un large éventail de connecteurs externalisés pour diverses sources et destinations de données, telles que Kafka, Elasticsearch, MongoDB, Cassandra et AWS.