flink — Apache Flink — это фреймворк с открытым исходным кодом для потоковой обработки данных, предоставляющий мощные возможности как для потоковой, так и для пакетной обработки.

Apache Flink — это фреймворк с открытым исходным кодом для потоковой обработки данных, предоставляющий мощные возможности как для потоковой, так и для пакетной обработки.

Об этом проекте

Apache Flink — это среда выполнения, ориентированная в первую очередь на потоковую передачу, разработанная для обеспечения высокой пропускной способности и низкой задержки событий. Она поддерживает программы пакетной и потоковой обработки через удобные Java API. Ключевые возможности включают: - Обработка времени событий и данных, поступающих вне очереди, на основе Dataflow Model. - Гибкие варианты окон, включая временные, количественные и сессионные окна. - Отказоустойчивость с гарантиями обработки exactly-once. - Естественная обработка обратного давления (back-pressure) в потоковых программах. - Специализированные библиотеки для обработки графов, машинного обучения и сложной обработки событий (CEP). - Пользовательское управление памятью для эффективной обработки данных в памяти и за ее пределами. - Интеграция с экосистемой Apache Hadoop, включая YARN, HDFS и HBase, со слоями совместимости для MapReduce. Проект предоставляет широкий спектр внешних коннекторов для различных источников и приемников данных, таких как Kafka, Elasticsearch, MongoDB, Cassandra и AWS.