প্রকল্প সম্পর্কে

SentrySearch একটি কমান্ড-লাইন টুল যা সিমেন্টিক ভিডিও সার্চের জন্য ব্যবহৃত হয়। এটি ভিডিও ফাইলগুলিকে ওভারল্যাপিং চাঙ্কে (ডিফল্ট ৩০ সেকেন্ড, ৫ সেকেন্ড ওভারল্যাপ) ভাগ করে, প্রতিটি চাঙ্কের জন্য Google-এর Gemini Embedding API, Alibaba DashScope-এর Qwen3-VL-Embedding (qwen-cloud), অথবা লোকাল Qwen3-VL মডেল ব্যবহার করে এমবেডিং তৈরি করে এবং ভেক্টরগুলো একটি লোকাল ChromaDB ডেটাবেসে সংরক্ষণ করে। ব্যবহারকারীরা প্রাকৃতিক ভাষার কোয়েরি বা রেফারেন্স ইমেজ দিয়ে সার্চ করে মিলে যাওয়া ভিডিও সেগমেন্ট খুঁজে পেতে পারেন, যা স্বয়ংক্রিয়ভাবে মূল ফাইল থেকে কেটে ক্লিপ হিসেবে সংরক্ষিত হয়। মূল বৈশিষ্ট্যগুলো: - ভিডিওতে টেক্সট ও ইমেজ-ভিত্তিক সিমেন্টিক সার্চ - একাধিক এমবেডিং ব্যাকএন্ড: Gemini API (ডিফল্ট), Qwen Cloud (DashScope), এবং লোকাল Qwen3-VL (৮B বা ২B ভেরিয়েন্ট, ঐচ্ছিক ৪-বিট কোয়ান্টাইজেশন সহ) - লোকাল মডেল নির্বাচনের জন্য স্বয়ংক্রিয় হার্ডওয়্যার সনাক্তকরণ (NVIDIA GPU ১৮GB+ VRAM বা Apple Silicon ২৪GB+ RAM-এর জন্য qwen8b; ছোট কনফিগারেশনের জন্য qwen2b) - প্রিপ্রসেসিং পাইপলাইন যা এমবেডিংয়ের আগে ffmpeg দিয়ে চাঙ্কগুলো ৪৮০p এবং ৫fps-এ ডাউনস্কেল করে, পেলোড সাইজ ও ইনফারেন্স সময় কমায় - ভিজ্যুয়ালি স্থির চাঙ্ক এমবেডিং এড়াতে স্টিল-ফ্রেম স্কিপিং - কনফিডেন্স থ্রেশহোল্ডিং এবং ঐচ্ছিক VLM-ভিত্তিক রির্যাংকিং (ক্লাউড ব্যাকএন্ডের জন্য Gemini 2.5 Flash, লোকালের জন্য লোকাল Qwen3-VL Instruct) - কোসাইন সিমিলারিটি সিলিং দিয়ে প্রায়-ডুপ্লিকেট ফলাফল ডিডুপ্লিকেশন - পরিসংখ্যানগতভাবে অস্বাভাবিক ক্লিপ সনাক্ত করতে হাইলাইটস মোড (knn, centroid, বা LOF পদ্ধতি) - টেসলা ড্যাশক্যাম মেটাডেটা ওভারলে (গতি, GPS, রিভার্স জিওকোডিং) ট্রিম করা ক্লিপে - মাল্টি-ক্যামেরা ইভেন্ট স্টিচিংয়ের জন্য SentryMerge এবং ফেস/প্লেট/প্রম্পট-ভিত্তিক রিডাকশনের জন্য SentryBlur-এর সাথে ইন্টিগ্রেশন - ব্যর্থ চাঙ্কের জন্য ডেড-লেটার কিউ এবং রিট্রাই ক্ষমতা - ইনডেক্স ম্যানেজমেন্ট কমান্ড (stats, remove, reset) ইনস্টলেশনের জন্য uv প্রয়োজন (Python ৩.১১/৩.১২)। লোকাল ব্যাকএন্ডের জন্য macOS-এ ffmpeg এবং NVIDIA-তে PyTorch with CUDA প্রয়োজন। বিভিন্ন ব্যাকএন্ড/মডেলের এমবেডিং আলাদা ইনডেক্সে বিচ্ছিন্ন থাকে। Gemini ব্যাকএন্ডের খরচ প্রায় $২.৮৪ প্রতি ঘণ্টা ফুটেজ ইনডেক্সিং (ডিফল্ট সেটিংস)। DashScope প্রতি ১k ইনপুট টোকেনে মোডালিটি অনুযায়ী বিল করে। লোকাল ব্যাকএন্ড সম্পূর্ণ অফলাইনে চলে, কোনো API খরচ নেই। টুলটি ড্যাশক্যাম/সিকিউরিটি ফুটেজ ওয়ার্কফ্লোরের জন্য ডিজাইন করা হয়েছে তবে যেকোনো ভিডিও ফাইলের সাথে কাজ করে। এটি স্ট্যান্ডার্ড MP4 ক্লিপ আউটপুট করে যা যেকোনো জায়গায় চালানো যায়।