इस प्रोजेक्ट के बारे में

Drowse बड़े भाषा मॉडलों (LLMs) पर मैकेनिस्टिक इंटरप्रिटेबिलिटी के लिए एक स्थानीय वर्कबेंच है। यह एक स्थानीय डैशबोर्ड, एक Python API, और OpenAI और Ollama दोनों क्लाइंट्स के साथ संगत HTTP सर्वर देता है। त्वरित आरंभ स्रोत चेकआउट से वर्चुअल वातावरण में स्थापित करता है (`uv pip install -e .`) और `drowse serve google/gemma-3-4b-it` के साथ लॉन्च होता है, localhost:8000 पर एक डैशबोर्ड खोलता है। पहली लॉन्च मॉडल डाउनलोड करती है और 17 बंडल किए गए कॉन्सेप्ट प्रोब्स को फिट करती है, जो `~/.drowse/` के अंतर्गत संग्रहीत होते हैं। CUDA और Apple Silicon MPS समर्थित हैं, वैकल्पिक FlashAttention और bitsandbytes quantization एक्सट्रा के साथ। एक होस्टेड ब्राउज़र संस्करण एक पृथक Svelte PWA के रूप में शामिल है, जो ऑन-डिवाइस WebGPU इन्फ़रेंस के लिए है। README अपनी सीमाओं के बारे में स्पष्ट है: रनटाइम और डिस्ट्रीब्यूशन लॉक्स सत्यापित चिह्नित हैं, लेकिन रिलीज़ जाँचें मॉडल लोड के तहत GPU स्थिरता की गारंटी नहीं देतीं; Gemma PT में मिलान-भार संख्यात्मक विसंगति है और Qwen 3.5 को अभी भी मिलान-क्वांटाइज़ेशन सत्यापन की आवश्यकता है। डिवाइस जाँचें GPU विक्रेता और आर्किटेक्चर की रिपोर्ट करती हैं, दर्ज डिवाइस हानियों के साथ ब्लॉक प्रोफाइल, और पहचाने गए Intel gen-9 एडेप्टर पर Windows Chromium को रूढ़िवादी रूप से ब्लॉक करती हैं। इन्फ़रेंस के लिए WebGPU अनिवार्य है, जिसमें कोई क्लाउड या केवल-CPU फॉलबैक नहीं है, और प्रॉम्प्ट, वार्तालाप, एक्टिवेशन, और फिट किए गए आर्टिफैक्ट डिवाइस पर ही रहते हैं। वेबयूआई वार्तालापों को शाखाबद्ध थ्रेड ट्री के रूप में व्यवस्थित करता है, जिसमें रीरोल, सेव/लोड, और मानक सैंपलिंग नियंत्रण होते हैं। चैट मोड मॉडल टेम्प्लेट को टर्न के रूप में प्रस्तुत करता है, जिसमें संक्षिप्त करने योग्य थिंकिंग और गतिशील भूमिका प्रबंधन होता है; रॉ मोड बेस मॉडल के लिए एकल बफर उजागर करता है। टोकन को प्रोब स्कोर या logprob surprise द्वारा हाइलाइट किया जा सकता है, और एक टोकन पर क्लिक करने से ज्योमेट्री, लॉगिट्स (टोकन फोर्किंग सहित), SAE, और J-lens दृश्यों के साथ एक विवरण ड्रॉअर खुलता है। इंस्ट्रूमेंट्स को Subspace, Manifold, SAE, और Lens टैब में समूहीकृत किया गया है, साथ ही मैनिफोल्ड्स को फिट करने, मर्ज करने, इंस्टॉल करने और निरीक्षण करने, प्रतिबंधित-विकल्प टेम्प्लेट स्कोर करने, स्टीयरिंग प्रबंधित करने और सर्वर स्वास्थ्य जाँचने के लिए अतिरिक्त विश्लेषण उपकरण हैं। अवधारणाओं को मैनिफोल्ड्स या सबस्पेस के रूप में निकाला जाता है: एक 1D फ्लैट सबस्पेस एक स्टीयरिंग वेक्टर है, उच्च-रैंक फ्लैट सबस्पेस ऑर्थोगोनल समूह हैं, और घुमावदार मैनिफोल्ड्स नॉनलाइनियर सतहों को फिट करते हैं। बंडल किए गए प्रोब्स में एपिस्टेमिक, अलाइनमेंट, रजिस्टर, और सांस्कृतिक कॉन्सेप्ट जोड़े शामिल हैं, साथ ही व्यक्तित्व, भावनाओं, और महीनों के लिए बड़े वैकल्पिक सेट भी हैं। एक एकीकृत स्टीयरिंग एक्सप्रेशन सिंटैक्स Python, YAML, OpenAI, Ollama, और मूल API में काम करता है, जो जोड़/घटाव, साझा-घटक रखें/हटाएँ ऑपरेटर, मीन एब्लेशन, मैनिफोल्ड नोड चयन, टोकन-चरण प्रतिबंध, डिकोड-विंडो प्रतिबंध, और लाइव प्रोब गेट्स का समर्थन करता है। निष्कर्षण मॉडल को प्रत्येक अवधारणा के रूप में बेसलाइन प्रॉम्प्ट का उत्तर देने के लिए कहता है, फिर हिडन स्टेट्स को एक मैनिफोल्ड या सबस्पेस में फिट करता है, लेयर आवंटन और विभेदक लेयर चयन के लिए Mahalanobis मीट्रिक का उपयोग करता है। निगरानी रीडिंग में फिट किए गए निर्देशांक, सबस्पेस अंश, निकटतम नोड्स सॉफ्ट असाइनमेंट के साथ, और घुमावदार मैनिफोल्ड्स के लिए ऑफ-सतह अवशिष्ट शामिल हैं। Jacobian lens प्रकाशित verbalizable-workspace कार्य का अनुसरण करता है, और SAE समर्थन प्रकाशित SAELens रिलीज़ का उपयोग कर सकता है या स्थानीय SAE प्रशिक्षित कर सकता है। CLI में आठ क्रियाएँ हैं: serve, manifold, pack, experiment, config, template, lens, और sae, जो प्रतिलिपि करने योग्य तैयारी, वितरण, और बैच कार्य को कवर करती हैं। मैनिफोल्ड पैक्स स्थानीय पथों से स्थापित किए जा सकते हैं या Hugging Face मॉडल रिपॉजिटरी के रूप में वितरित किए जा सकते हैं, और एक `.drowse` ZIP एक मैनिफोल्ड क्लोजर और उसके संदर्भित टेम्प्लेट को एक साथ ले जाता है। एक फिटेड दो-नोड PCA मैनिफोल्ड को llama.cpp कंट्रोल-वेक्टर GGUF के रूप में निर्यात किया जा सकता है। होस्टेड-ब्राउज़र डिस्कवरी केवल drowse-manifold टैग वाले Hugging Face रिपॉजिटरी को स्वीकार करती है, जिसमें एक एकल रूट `.drowse` और एक रूट `manifold.json` हो, जो एक अपरिवर्तनीय कमिट में हल हो और घोषित रिपॉजिटरी और रिवीजन को सत्यापित करे। एक `drowse serve` प्रक्रिया एक पोर्ट पर चार सतहों को उजागर करती है: WebUI, OpenAI-संगत `/v1/*`, Ollama-संगत `/api/*`, और सेशन, लूम ट्री, प्रोब्स, मैनिफोल्ड्स, टेम्प्लेट, SAE/J-LENS जीवनचक्र और रीप्ले, SSE, और टोकन-प्लस-मापन WebSockets के लिए एक मूल `/drowse/v1/*` API। Python API `DrowseSession` पर केंद्रित है, जिसमें `extract`, `add_probe`, `generate`, `generate_stream`, `generate_batch`, `generate_sweep`, और `score_choices`, साथ ही नोटबुक प्लॉटिंग सहायक शामिल हैं। मॉडल समर्थन में Qwen 2/3/3.5, Gemma 2/3/4, Mistral 3 और Ministral 3, Llama, GLM, gpt-oss, और Talkie के लिए एंड-टू-एंड परीक्षण किए गए पथ शामिल हैं, साथ ही एक सामान्य residual-layer इंटरफ़ेस के माध्यम से जुड़े अतिरिक्त आर्किटेक्चर और अप्रयुक्त होने पर चेतावनियाँ भी शामिल हैं। README स्पष्ट रूप से Drowse को एक भरोसेमंद स्थानीय मशीन या लैब नेटवर्क के लिए लक्षित बताता है, न कि एक कठोर मल्टी-टेनेंट सेवा के रूप में, और यदि भरोसेमंद होस्ट से परे बाध्य किया जाता है तो API कुंजियाँ, TLS, दर सीमाएँ, और अलगाव की सलाह देता है। रिपॉजिटरी Python निष्पादन डिफ़ॉल्ट रूप से अक्षम है और स्पष्ट ऑप्ट-इन की आवश्यकता है। स्थिति `~/.drowse/` के अंतर्गत रहती है (`$DROWSE_HOME` के माध्यम से स्थानांतरित करने योग्य), जबकि वार्तालाप सेव स्पष्ट ब्राउज़र-डाउनलोड किए गए JSON फ़ाइलें हैं, न कि ऑटोसेव। परियोजना AGPL-3.0-or-later लाइसेंस के अंतर्गत है और Representation Engineering, repeng, difference-of-means extraction, Goodfire के मैनिफोल्ड कार्य, Anthropic के Assistant Axis फ्रेमवर्क, और Gurnee et al. की J-lens विधि को श्रेय देती है।