इस प्रोजेक्ट के बारे में

RunAnywhere आठ SDK (Swift, Kotlin, Flutter, React Native, Web, Electron, Python और एक CLI) प्रदान करता है, जो एक ही C++ कोर पर बने हैं। यह स्थानीय, ऑफलाइन AI इन्फरेंस को विविध हार्डवेयर पर सक्षम बनाता है, प्रत्येक डिवाइस पर उपलब्ध सर्वोत्तम इंजन को कॉल रूट करके। **क्षमताएं:** - टोकन स्ट्रीमिंग, मल्टी-टर्न हिस्ट्री और LoRA एडेप्टर (Llama, Qwen, Gemma, Phi, DeepSeek, आदि) के साथ LLM चैट - इमेज समझ और कैमरा Q&A के लिए विजन लैंग्वेज मॉडल (VLM) - स्पीच-टू-टेक्स्ट (Whisper, Moonshine) और टेक्स्ट-टू-स्पीच (Piper, Kokoro, MeloTTS) - वॉयस एजेंट पाइपलाइन (VAD + STT + LLM + TTS) - स्थानीय डॉक्यूमेंट इनगेस्शन और स्ट्रीमिंग के साथ एम्बेडिंग और RAG - Stable Diffusion (Core ML) और इनपेन्टिंग (Hexagon NPU) के माध्यम से इमेज जनरेशन - एजेंट लूप के साथ संरचित JSON आउटपुट और टूल कॉलिंग - कंप्यूटर-यूज एक्शन पार्सर (CUA) **इन्फरेंस इंजन:** - QHexRT: Qualcomm Hexagon NPUs (v75/v79/v81) के लिए RunAnywhere का रनटाइम, जो MoE और 1-बिट मॉडल सहित सीधे NPU पर LLM, VLM, स्पीच और TTS चलाता है। - MLX: LLM, VLM, STT, TTS और एम्बेडिंग के लिए Apple-नेटिव इन्फरेंस। - llama.cpp: Metal (Apple), CUDA (NVIDIA, ऑप्ट-इन), WebGPU/WASM (ब्राउज़र) और CPU (NEON/AVX) के माध्यम से हर जगह चलता है। - sherpa + ONNX: सभी प्लेटफार्मों पर स्पीच, VAD और एम्बेडिंग के लिए। - Core ML: iOS/macOS पर डिफ्यूजन-आधारित इमेज जनरेशन के लिए। **अतिरिक्त विशेषताएं:** - Python SDK और CLI के माध्यम से OpenAI-संगत सर्वर मोड, जो चैट कम्प्लीशन, एम्बेडिंग, ऑडियो ट्रांसक्रिप्शन/स्पीच और मॉडल के लिए एंडपॉइंट्स एक्सपोज करता है। - RunAnywhere कंसोल: डिवाइस फ्लीट में मॉडल को ओवर-द-एयर तैनात करने और टेलीमेट्री इकट्ठा करने के लिए एक कंट्रोल प्लेन। - कनेक्ट (LAN): एक macOS होस्ट को एक लोडेड मॉडल को iOS/Android क्लाइंट्स के साथ एक विश्वसनीय स्थानीय नेटवर्क पर शेयर करने की अनुमति देता है। - एक क्षमता डिस्कवरी API (capabilities()) ऐप्स को यह क्वेरी करने की अनुमति देता है कि वर्तमान डिवाइस और इंस्टॉल किए गए इंजन वास्तव में क्या निष्पादित कर सकते हैं। SDK परिपक्वता अलग-अलग है: Swift, Kotlin और rcli स्थिर हैं; Flutter, React Native और Web बीटा में हैं; Electron प्रीव्यू में है; और Python अल्फा में है।