clickstream-pipelinesasan-salari
新收录本项目提供基于AWS的无服务器点击流数据管道,通过API Gateway接收实时点击事件,经Kinesis Data Streams摄取后由Firehose转换为Parquet格式并存储至S3数据湖。AWS Glue编目架构,Athena支持SQL查询,EventBridge调度Lambda自动修复分区。项目使用AWS SAM和CloudFormation实现可重复、版本控制的IaC部署。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTION本项目提供基于AWS的无服务器点击流数据管道,通过API Gateway接收实时点击事件,经Kinesis Data Streams摄取后由Firehose转换为Parquet格式并存储至S3数据湖。AWS Glue编目架构,Athena支持SQL查询,EventBridge调度Lambda自动修复分区。项目使用AWS SAM和CloudFormation实现可重复、版本控制的IaC部署。
RisingWave 是一个专为 Agentic AI 设计的事件流平台,它将数据摄取、处理和提供服务集成到单一系统中,旨在为实时应用和 AI Agent 提供新鲜且可查询的数据。
Vector是一款用Rust编写的开源可观测性数据管道,可收集、转换和路由日志与指标,作为agent或aggregator运行,帮助团队控制遥测数据流向并降低厂商成本。
Pathway 是一款支持流处理、实时分析与 AI 流水线(含 LLM 及 RAG 应用)的 Python ETL 框架。它基于 Rust 引擎运行 Python 代码实现增量计算,支持用同一套代码处理批流数据,可通过 Docker 与 Kubernetes 部署。