Об этом проекте

Руководство Clickstream Analytics on AWS представляет собой комплексную эталонную реализацию, которая позволяет создать полнофункциональную платформу данных кликстрима на AWS. Решение собирает данные о событиях из веб-приложений, Android, iOS, Flutter, React-Native и других клиентов с помощью специализированных SDK, передает данные через настраиваемый слой приема, обрабатывает их с помощью Spark на EMR Serverless, хранит в Amazon S3, Redshift и DynamoDB, а также визуализирует ключевые метрики с помощью Amazon QuickSight. Ключевые компоненты: - Front-end UI, размещенный в S3 и предоставляемый через CloudFront. - Backend API, построенные с помощью API Gateway, Lambda и защищенные Cognito или OIDC. - Оркестрация жизненного цикла конвейера с использованием Step Functions, EventBridge и CloudFormation. - Конвейер данных, состоящий из ALB, ECS, Amazon MSK или Kinesis Data Streams, S3, EMR Serverless, Redshift и QuickSight. - SDK для нескольких платформ (Android, iOS/Swift, Flutter, React-Native, Web), которые автоматически фиксируют общие события и позволяют передавать пользовательские события. - Предварительно собранные дашборды QuickSight, охватывающие показатели привлечения, вовлеченности, активности, удержания, а также данные об устройствах и географии. Предварительные требования включают современную ОС (macOS, Linux, Windows), AWS CLI, Python 3.11+, Node 20+, pnpm, Docker и учетную запись AWS с правами AdministratorAccess. Перед развертыванием необходимо выполнить bootstrap CDK. Этапы развертывания: 1. Клонируйте репозиторий. 2. Установите pnpm и зависимости проекта. 3. Выполните bootstrap среды CDK. 4. Запустите предоставленный скрипт развертывания (solution-deploy.sh) с параметрами региона, профиля и электронной почты. 5. После того как CloudFormation сообщит о статусе CREATE_COMPLETE, откройте URL CloudFront для доступа к консоли. После развертывания вы можете создавать конвейеры данных, регистрировать приложения, интегрировать SDK и начать просмотр аналитики. Руководство также охватывает вопросы настройки (пользовательские события, плагины трансформации данных), интеграцию с другими сервисами AWS (Personalize, SageMaker), стратегии масштабирования и управление данными (хранение, контроли GDPR/CCPA). Инструкции по очистке рекомендуют удалять конвейеры и приложения через консоль перед удалением стеков CloudFormation и дополнительных корзин S3. Для разработчиков репозиторий включает скрипты для локального запуска control-plane, сборки Spark ETL JAR и выполнения модульных тестов с помощью pnpm. Предоставлены подробный FAQ, список известных проблем и ссылки для устранения неполадок. В целом, данное руководство предлагает промышленное сквозное решение для аналитики кликстрима, которое может быть адаптировано к широкому спектру бизнес-потребностей с использованием полностью управляемых сервисов AWS.