프로젝트 소개
Carrier Risk Platform은 연방 FMCSA(Federal Motor Carrier Safety Administration) 데이터를 기반으로 운송업체에 대해 특정 시점 기준의 정확한 위험 점수를 제공하도록 설계된 오픈소스 솔루션입니다. 이 프로젝트는 워크플로 오케스트레이션을 위한 Apache Airflow, 데이터 변환을 위한 dbt, Infrastructure as Code를 위한 Terraform을 중심으로 한 강력한 기술 스택을 활용합니다.
저장소에는 코드 품질과 보안을 보장하는 포괄적인 CI/CD 워크플로가 포함되어 있습니다. 이러한 검사는 GitHub 호스팅 러너를 사용하여 풀 리퀘스트와 main 브랜치로의 푸시에서 실행됩니다. 주요 검증 단계에는 비밀 정보를 위한 마스킹된 Gitleaks 스캔, Ruff 린팅 및 포매팅, mypy를 사용한 엄격한 타입 검사, 브랜치 커버리지 강제 적용을 포함한 전체 pytest 스위트가 있습니다. 시스템은 높은 코드 커버리지 기준(약 88%)을 강제하며, `ingest` 및 `orchestration`과 같은 핵심 모듈에서 변경된 라인에 대해 최소 80% 커버리지를 요구합니다.
데이터 무결성은 모델 계약, 멱등성 회귀, 시간적 테스트를 강제하는 dbt 빌드를 통해 유지됩니다. 인프라 테스트는 Terraform을 통해 처리되며, 이는 실제 클라우드 리소스를 배포하지 않고 구성의 유효성을 검사하고 모의 제공자 플랜을 실행합니다. PostgreSQL은 테스트 중 로컬 데이터베이스 픽스처에 사용되며, 자격 증명은 안전하게 생성되고 마스킹됩니다. 이 플랫폼은 AWS에 배포되도록 설계되었으며, 리소스 관리를 위해 Terraform을 활용합니다.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.