প্রকল্প সম্পর্কে

এই রেপোজিটরিটি দেখায় কীভাবে Google Cloud Platform‑এ ওয়েব ট্রাফিকের জন্য কম‑অবিলম্বী অ্যানালিটিক্স সমাধান তৈরি করা যায়। আর্কিটেকচারটি চারটি মূল অংশে বিভক্ত: 1. **ইভেন্ট ইনজেশন** – একটি ساده পাইথন ইভেন্ট জেনারেটর দ্বারা উত্পাদিত ক্লিক‑স্ট্রিম বার্তা Pub/Sub টপিক গ্রহণ করে। Pub/Sub একটি টেকসই, বিশ্বব্যাপী উপলব্ধ মেসেজ বাস যা উত্পাদক এবং ভোক্তাকে আলাদা করে। 2. **স্ট্রিমিং প্রসেসিং** – Apache Beam পাইপলাইন Dataflow‑এ (runner=DataflowRunner) স্ট্রিমিং মোডে চালু হয়। পাইপলাইন Pub/Sub ইভেন্টগুলো পড়ে, প্রাসঙ্গিক ফিল্ডগুলো বের করে এবং Cloud Memorystore (Redis)‑এ মেট্রিক কাউন্টার আপডেট করে। Redisকে ইন‑মেমোরি স্টোর হিসেবে ব্যবহার করা হয় কারণ এর নেটিভ সেট এবং HyperLogLog কমান্ড (`SCARD`, `SINTERSTORE`, `PFADD`, `PFCOUNT`) অনন্য ভিজিটর গণনা এবং সেট‑ভিত্তিক অ্যানালিটিক্সকে খুব দক্ষ করে তোলে। 3. **মেট্রিক স্টোর** – Cloud Memorystore (Redis) রিয়েল‑টাইম মেট্রিকগুলো ধারণ করে। Redis‑এর অন্তর্নির্মিত ডেটা স্ট্রাকচার ব্যবহার করে, সমাধানটি কাস্টম অ্যাগ্রিগেশন কোড থেকে বাঁচে এবং সাব‑সেকেন্ড কুয়েরি লেটেন্সি অর্জন করে। 4. **দৃশ্যীকরণ** – Spring Boot অ্যাপ্লিকেশন (`dashboard/` ফোল্ডারে অবস্থিত) Jedis ক্লায়েন্টের মাধ্যমে Redis‑এ সংযোগ করে, সমষ্টিগত মানগুলো পড়ে এবং Google Charts‑এর মাধ্যমে রেন্ডার করে। UI‑এ অটো‑রিফ্রেশ সুবিধা আছে, যা بازারজাতা বা অপারেটরদেরকে অ্যাক্টিভ ব্যবহারকারী, পরীক্ষা অংশগ্রহণ, রূপান্তর হার এবং ব্যবহারকারী ওভারল্যাপেরような KPI‑গুলো নিরীক্ষণ করতে দেয়। এই রেপোজিটরিটিতে নিম্নলিখিত স্ক্রিপ্ট এবং নির্দেশিকা অন্তর্ভুক্ত আছে: - প্রয়োজনীয় GCP পরিষেবাগুলো সেট আপ করুন (Pub/Sub, Dataflow, Memorystore, Cloud Storage, VPC নেটওয়ার্কিং)। - Maven ব্যবহার করে Dataflow পাইপলাইন স্থাপন করুন। - Python ভার্চুয়াল এনভায়রনমেন্টে ডামি ইভেন্ট জেনারেটর চালু করুন। - VPC‑সীমাবদ্ধ Redis অ্যাক্সেসের জন্য একটি প্রক্সি VM‑এর পিছনে Spring Boot ড্যাশবোর্ড চালু করুন। - Cloud Shell ওয়েব প্রিভিউ এর মাধ্যমে লাইভ ড্যাশবোর্ড দেখুন। সব কম্পোনেট সম্পূর্ণরূপে পরিচালিত পরিষেবা, ফলে সমাধান স্বয়ংক্রিয়ভাবে স্কেল হয় এবং न्यূনতম অপারেটিভ ওভারহেড প্রয়োজন। এটি GCP‑এ রিয়েল‑টাইম ওয়েব অ্যানালিটিক্স, A/B‑টেস্ট মনিটরিং, বা কোনো ক্লিক‑স্ট্রিম ভিত্তিক KPI রিপোর্টিং প্রয়োজনীয় কারিগরদের জন্য একটি স্টার্টার কিট হিসেবে কাজ করে।