প্রকল্প সম্পর্কে

Spectrum হলো একটি সেলফ-হোস্টেড প্রোডাক্ট অ্যানালিটিক্স ওয়্যারহাউজ, যা Amplitude ও Mixpanel-এর মতো বাণিজ্যিক প্ল্যাটফর্মগুলোর একটি ওপেন-সোর্স বিকল্প হিসেবে ডিজাইন করা হয়েছে। এই প্রজেক্টটি প্রদর্শন করে যে কীভাবে একটি সতর্ক PostgreSQL-মাত্র আর্কিটেকচার ইভেন্ট ইনজেস্টন, সেশনায়জন, ফানেল বিশ্লেষণ, কোহোর্ট রিটেনশন, রিভিনিউ অ্যাট্রিবিউশন ও A/B টেস্টিং পরিচালনা করতে পারে—বাহ্যিক মেসেজ ব্রোকার বা বিগ-ডাটা ফ্রেমওয়ার্কের প্রয়োজন ছাড়াই। সিস্টেমটি একটি FastAPI এন্ডপয়েন্টের মাধ্যমে কাঁচা ক্লিকস্ট্রিম ইভেন্ট ইনজেস্ট করে, `FOR UPDATE SKIP LOCKED` ব্যাচ দাবির মাধ্যমে একই-অপারেশন ELT পাইপলাইন ব্যবহার করে সেগুলি প্রক্রিয়া করে এবং 30-মিনিটের সেশন সীমানা উইন্ডো ফাংশন ও অ্যাকাউন্ট-স্তরের মাত্রায় সাপ্তাহিক কনভার্সন ফানেল—সব কীছুর জন্য বিশুদ্ধ SQL-তে গাণিতিক কাঠামো তৈরি করে। ম্যাটারিয়ালাইজ্ড ভিউ Grafana ড্যাশবোর্ডের জন্য পূর্ব-যোগাজিত মেট্রিক্স সরবরাহ করে, আর রো-লেভেল সিকিউরিটি টেনেন্ট ডেটা আলাদা রাখে। মূল আর্কিটেকচার প্যাটার্নে রয়েছে তিন-স্কিমা নকশা—স্টেজিং, ওয়্যারহাউজ ও অ্যানালিটিক্স স্তর পৃথক করে; চাঁদভিত্তিক রেঞ্জ-পার্টিশনযুক্ত ফ্যাক্ট টেবিল, যা পার্টিশন প্যারুনিং সমর্থন করে; ক্রোনোলজিক্যাল ইভেন্ট টাইমস্ট্যাম্পে BRIN ইন্ডেক্স; অবৈধ পেলোডের জন্য একটি ডেড-লেটার কিউ; এবং কাঁচা রানার উদাহরণগুলো থাকলেও ডুপ্লিকেট প্রসেসিং এড়িয়ে চলতে সক্ষম সমকালীন-নিরাপদ পাইপলাইন এক্সিকিউশন। প্রজেক্টে Alembic মাইগ্রেশন, Prometheus মেট্রিক্স এক্সপোজার, নির্ভুল ফানেল হার ও রিটেনশন আইসোলেশন নিশ্চিতকারী ইন্টিগ্রেশন টেস্ট, এবং পার্টিশন-প্যারুনিং এর স্পিডআপ দেখানো একটি বেনচমার্ক স্ক্রিপ্ট অন্তর্ভুক্ত। ডিপ্লয়মেন্ট Podman কন্টেইনারের ওপর নির্ভর করে, যা PostgreSQL, API সার্ভার ও Grafana অর্কেস্ট্রেট করে। একটি মাত্র `make demo` কমান্ডে সবকিছু প্রোভিশন করা যায়—সিமுলেটেড ইউজার অ্যাক্টিভিটি জেনারেট করে, ট্রান্সফরমেশন পাইপলাইন চালিয়ে ভিজ্যুয়ালাইজেশন লেয়ার শুরু করে।