প্রকল্প সম্পর্কে
Carrier Risk Platform হলো একটি ওপেন-সোর্স সমাধান, যা ফেডারেল FMCSA (Federal Motor Carrier Safety Administration) ডেটার ভিত্তিতে ক্যারিয়ারদের জন্য নির্দিষ্ট সময়ভিত্তিক সঠিক ঝুঁকি স্কোরিং প্রদান করার জন্য ডিজাইন করা হয়েছে। প্রকল্পটি একটি শক্তিশালী টেকনোলজি স্ট্যাক ব্যবহার করে, যার কেন্দ্রে রয়েছে ওয়ার্কফ্লো অর্কেস্ট্রেশনের জন্য Apache Airflow, ডেটা ট্রান্সফরমেশনের জন্য dbt এবং ইনফ্রাস্ট্রাকচার অ্যাজ কোডের জন্য Terraform।
রিপোজিটরিতে ব্যাপক CI/CD ওয়ার্কফ্লো রয়েছে, যা কোডের গুণমান ও নিরাপত্তা নিশ্চিত করে। এই চেকগুলো পুল রিকোয়েস্ট এবং মেইন ব্রাঞ্চে পুশের সময় চলে, GitHub-হোস্টেড রানার ব্যবহার করে। প্রধান ভ্যালিডেশন ধাপগুলোর মধ্যে রয়েছে সিক্রেট স্ক্যানিংয়ের জন্য রিড্যাক্টেড Gitleaks, Ruff লিন্টিং ও ফরম্যাটিং, mypy দিয়ে কঠোর টাইপ চেকিং, এবং ব্রাঞ্চ কভারেজ এনফোর্সমেন্টসহ সম্পূর্ণ pytest স্যুট। সিস্টেমটি উচ্চ কোড কভারেজ বেসলাইন (প্রায় 88%) প্রয়োগ করে এবং `ingest` ও `orchestration`-এর মতো গুরুত্বপূর্ণ মডিউলে পরিবর্তিত লাইনের জন্য অন্তত 80% কভারেজ প্রয়োজন।
ডেটা ইন্টিগ্রিটি বজায় রাখা হয় dbt বিল্ডের মাধ্যমে, যা মডেল কন্ট্র্যাক্ট, আইডেম্পোটেন্সি রিগ্রেশন এবং টেম্পোরাল টেস্ট প্রয়োগ করে। ইনফ্রাস্ট্রাকচার টেস্টিং Terraform-এর মাধ্যমে পরিচালিত হয়, যা কনফিগারেশন ভ্যালিডেট করে এবং প্রকৃত ক্লাউড রিসোর্স ডিপ্লয় না করেই মক-প্রোভাইডার প্ল্যান চালায়। টেস্টিংয়ের সময় লোকাল ডেটাবেস ফিক্সচারের জন্য PostgreSQL ব্যবহার করা হয়, যেখানে ক্রেডেনশিয়াল নিরাপদে জেনারেট ও মাস্ক করা হয়। প্ল্যাটফর্মটি AWS-এ ডিপ্লয় করার জন্য ডিজাইন করা হয়েছে, রিসোর্স ম্যানেজমেন্টের জন্য Terraform ব্যবহার করে।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.