इस प्रोजेक्ट के बारे में

NobodyWho एक इन्फरेंस इंजन है जो आपको किसी भी डिवाइस पर बड़े भाषा मॉडल (LLM) को लोकली और कुशलता से चलाने देता है। यह GGUF फॉर्मेट में किसी भी चैट LLM को चलाने का समर्थन करता है, जिसमें Gemma, Qwen और Mistral शामिल हैं, और Vulkan या Metal के जरिए GPU एक्सेलेरेशन देता है। मुख्य विशेषताओं में तेज़, टाइप-सेफ टूल कॉलिंग जिसमें स्वचालित रूप से जनरेट किए गए स्ट्रक्चर्ड ग्रामर होते हैं, मल्टीमॉडल इनपुट (इमेज और ऑडियो), टेक्स्ट-टू-स्पीच, स्पीच-टू-टेक्स्ट, और वॉइस एक्टिविटी डिटेक्शन शामिल हैं। मॉडल सीधे Hugging Face या किसी भी URL से डाउनलोड किए जा सकते हैं। यह इंजन Rust पर बना है और इसमें Kotlin, Swift, React Native/Expo, Flutter, Python, और Godot के लिए बाइंडिंग्स हैं, और यह OpenAI Chat Completions API को लागू करने वाला एक प्रायोगिक लोकल सर्वर भी प्रदान करता है। यह डेस्कटॉप (Linux, macOS, Windows), Android, iOS, visionOS, और watchOS पर चलता है, जिसमें मेमोरी आवश्यकताएँ डेस्कटॉप पर मॉडल फ़ाइल आकार की लगभग 1.5 गुना और मोबाइल पर 2 गुना होती हैं। यह प्रोजेक्ट EUPL-1.2 के तहत लाइसेंस प्राप्त है, जो इसे प्रोप्राइटरी और कमर्शियल प्रोजेक्ट्स में उपयोग करने की अनुमति देता है।