Об этом проекте

Apache StreamPark представляет собой фреймворк с открытым исходным кодом для создания и управления потоковыми приложениями реального времени, предназначенный для упрощения полного жизненного цикла потоковой обработки. Он предоставляет единый фреймворк разработки для Apache Flink и Apache Spark, а также мощную облачную платформу для управления приложениями. StreamPark позволяет пользователям эффективно и последовательно разрабатывать, отлаживать, развертывать и эксплуатировать крупномасштабные потоковые приложения. Изначально проект назывался StreamX, но был переименован в StreamPark в августе 2022 года и стал проектом верхнего уровня Apache (TLP) в январе 2025 года. Ключевые особенности включают: - Фреймворк разработки потоковых приложений: Упрощает разработку потоковых приложений на Flink и Spark благодаря готовым API, коннекторам и шаблонам. - Облачная платформа вычислений в реальном времени: Предлагает комплексное решение для разработки, развертывания, мониторинга и эксплуатации в режиме реального времени. - Единая пакетная и потоковая обработка: Поддерживает Apache Flink и Apache Spark, обеспечивая как потоковую, так и пакетную обработку. - Поддержка нескольких движков и версий: Запуск и управление многоверсионными приложениями Flink/Spark. - Совместимость с различными средами: Работает в режимах Standalone, YARN (Hadoop 2.x/3.x) и Kubernetes. - Богатые экосистемы: Совместимость с инструментами экосистемы больших данных (например, Apache Flink/Spark/Paimon/Doris) и экосистемами ML/AI. - Простота использования: Развертывание одним сервисом; запуск рабочих задач занимает всего несколько минут.