इस प्रोजेक्ट के बारे में

SentrySearch एक कमांड-लाइन टूल है जो सिमेंटिक वीडियो सर्च के लिए है। यह वीडियो फाइलों को ओवरलैपिंग चंक्स में विभाजित करके प्रोसेस करता है (डिफ़ॉल्ट 30 सेकंड, 5 सेकंड के ओवरलैप के साथ), प्रत्येक चंक के लिए Google के Gemini Embedding API, Alibaba DashScope के Qwen3-VL-Embedding (qwen-cloud), या लोकल Qwen3-VL मॉडल में से किसी एक का उपयोग करके एम्बेडिंग जनरेट करता है, और वेक्टर को एक लोकल ChromaDB डेटाबेस में स्टोर करता है। उपयोगकर्ता फिर नैचुरल लैंग्वेज क्वेरी या रेफरेंस इमेज से सर्च करके मेल खाते वीडियो सेगमेंट प्राप्त कर सकते हैं, जिन्हें मूल फाइलों से स्वचालित रूप से ट्रिम करके क्लिप के रूप में सेव किया जाता है। मुख्य विशेषताएं शामिल हैं: - वीडियो पर टेक्स्ट और इमेज-आधारित सिमेंटिक सर्च - कई एम्बेडिंग बैकएंड: Gemini API (डिफ़ॉल्ट), Qwen Cloud (DashScope), और लोकल Qwen3-VL (8B या 2B वेरिएंट, वैकल्पिक 4-बिट क्वांटाइज़ेशन के साथ) - लोकल मॉडल चयन के लिए स्वचालित हार्डवेयर डिटेक्शन (NVIDIA GPU 18GB+ VRAM या Apple Silicon 24GB+ RAM के लिए qwen8b; छोटे कॉन्फ़िगरेशन के लिए qwen2b) - प्रीप्रोसेसिंग पाइपलाइन जो एम्बेडिंग से पहले ffmpeg के माध्यम से चंक्स को 480p पर 5fps पर डाउनस्केल करती है, जिससे पेलोड साइज़ और इन्फेरेंस समय कम होता है - दृश्य रूप से स्थिर चंक्स को एम्बेड करने से बचने के लिए स्टिल-फ्रेम स्किपिंग - वैकल्पिक VLM-आधारित रीरैंकिंग के साथ कॉन्फिडेंस थ्रेशोल्डिंग (क्लाउड बैकएंड के लिए Gemini 2.5 Flash, लोकल के लिए लोकल Qwen3-VL Instruct) - कोसाइन सिमिलैरिटी सीलिंग के माध्यम से लगभग समान परिणामों का डीडुप्लिकेशन - सांख्यिकीय रूप से असामान्य क्लिप उजागर करने के लिए हाइलाइट्स मोड (knn, सेंट्रॉइड, या LOF विधियां) - ट्रिम किए गए क्लिप पर Tesla डैशकैम मेटाडेटा ओवरले (स्पीड, GPS, रिवर्स जियोकोडिंग) - मल्टी-कैमरा इवेंट स्टिचिंग के लिए SentryMerge और चेहरे/प्लेट/प्रॉम्प्ट-आधारित रिडैक्शन के लिए SentryBlur के साथ एकीकरण - रीट्राय क्षमता के साथ विफल चंक्स के लिए डेड-लेटर क्यू - इंडेक्स प्रबंधन कमांड (stats, remove, reset) इंस्टॉलेशन uv का उपयोग करता है (Python 3.11/3.12 आवश्यक)। लोकल बैकएंड के लिए macOS पर ffmpeg और NVIDIA पर CUDA के साथ PyTorch आवश्यक है। विभिन्न बैकएंड/मॉडल से एम्बेडिंग अलग-अलग इंडेक्स में आइसोलेटेड रहती हैं। Gemini बैकएंड की लागत डिफ़ॉल्ट सेटिंग्स पर इंडेक्स किए गए प्रति घंटा फुटेज लगभग $2.84 होती है। DashScope मॉडैलिटी के अनुसार प्रति 1k इनपुट टोकन बिल करता है। लोकल बैकएंड पूरी तरह ऑफलाइन चलता है, कोई API लागत नहीं। यह टूल डैशकैम/सिक्योरिटी फुटेज वर्कफ़्लो के लिए डिज़ाइन किया गया है लेकिन किसी भी वीडियो फाइल के साथ काम करता है। यह मानक MP4 क्लिप आउटपुट करता है जो कहीं भी चलाए जा सकते हैं।