Находите качественные проекты с открытым исходным кодом, отправляйте проекты анонимно, заявляйте права на свои проекты и редактируйте их.
Немного любопытства. Мир открытого кода.
THE FIRST COLLECTIONЛокальный конвейер real-time аналитики с использованием Redpanda (Kafka-совместимый брокер) и PySpark Structured Streaming. Эмулирует clickstream события, выполняет агрегацию по окнам с watermarking — всё через docker-compose.
Apache Spark — это унифицированный аналитический движок для крупномасштабной обработки данных, предлагающий высокоуровневые API и оптимизированный движок для общих графов вычислений.
Delta Lake — это открытый фреймворк хранения, обеспечивающий архитектуру Lakehouse. Он интегрируется с вычислительными движками, такими как Spark, PrestoDB, Flink, Trino и Hive, предлагая ACID-транзакции, путешествие во времени и эволюцию схемы для надёжного управления данными.
Redash — это браузерный инструмент для исследования и визуализации данных, который позволяет пользователям запрашивать, визуализировать и совместно использовать данные из различных SQL и NoSQL источников.
SQLGlot — это чистый Python-парсер SQL, транспилятор, оптимизатор и движок, поддерживающий более 30 диалектов, с функциями форматирования, кросс-диалектного перевода, манипуляции AST и опциональным ускорением на C-расширениях для быстрой обработки SQL.
Eclipse Deeplearning4J (DL4J) — экосистема глубокого обучения для JVM, поддерживающая Java, Scala, Kotlin и др. Включает импорт моделей из Keras, TensorFlow, ONNX; ND4J для линейной алгебры; SameDiff для автодифференцирования; DataVec для ETL; работает на CPU/GPU под Windows, Linux, macOS.
