منصوبے کے بارے میں

RunAnywhere آٹھ SDKs (Swift، Kotlin، Flutter، React Native، Web، Electron، Python، اور ایک CLI) فراہم کرتا ہے جو ایک ہی C++ کور پر بنائے گئے ہیں۔ یہ مقامی، آف لائن AI انفرنس کو مختلف ہارڈویئر پر فعال کرتا ہے، ہر ڈیوائس پر بہترین دستیاب انجن کو کالز روٹ کرتا ہے۔ **قابلیتیں:** - ٹوکن سٹریمنگ، ملٹی-ٹرن ہسٹری، اور LoRA اڈاپٹرز (Llama، Qwen، Gemma، Phi، DeepSeek، وغیرہ) کے ساتھ LLM چیٹ - امیج سمجھنے اور کیمرہ Q&A کے لیے ویژن لینگویج ماڈلز (VLM) - سپیچ-ٹو-ٹیکسٹ (Whisper، Moonshine) اور ٹیکسٹ-ٹو-سپیچ (Piper، Kokoro، MeloTTS) - وائس ایجنٹ پائپ لائن (VAD + STT + LLM + TTS) - ایمبیڈنگز اور RAG مقامی دستاویز انجسشن اور سٹریمنگ کے ساتھ - Stable Diffusion (Core ML) اور inpainting (Hexagon NPU) کے ذریعے امیج جنریشن - ساختہ JSON آؤٹ پٹ اور ایجنٹ لوپس کے ساتھ ٹول کالنگ - کمپیوٹر-یوز ایکشن پارسر (CUA) **انفرنس انجن:** - QHexRT: Qualcomm Hexagon NPUs (v75/v79/v81) کے لیے RunAnywhere کا رن ٹائم، جو NPU پر براہ راست LLMs، VLMs، سپیچ، اور TTS کو چلاتا ہے، بشمول MoE اور 1-bit ماڈلز۔ - MLX: LLM، VLM، STT، TTS، اور ایمبیڈنگز کے لیے Apple-native انفرنس۔ - llama.cpp: Metal (Apple)، CUDA (NVIDIA، آپٹ-ان)، WebGPU/WASM (براؤزر)، اور CPU (NEON/AVX) کے ذریعے ہر جگہ چلتا ہے۔ - sherpa + ONNX: سپیچ، VAD، اور ایمبیڈنگز کے لیے تمام پلیٹ فارمز پر۔ - Core ML: iOS/macOS پر ڈفیوژن-بیسڈ امیج جنریشن کے لیے۔ **اضافی خصوصیات:** - Python SDK اور CLI کے ذریعے OpenAI-compatible سرور موڈ، جو چیٹ کمپلیشنز، ایمبیڈنگز، آڈیو ٹرانسکرپشن/سپیچ، اور ماڈلز کے لیے اینڈپوائنٹس کو بے نقاب کرتا ہے۔ - RunAnywhere Console: ڈیوائس فلیٹس پر ماڈلز کو ہوا کے ذریعے تعینات کرنے اور ٹیلی میٹری جمع کرنے کے لیے ایک کنٹرول ہوائی جہاز۔ - Connect (LAN): ایک macOS ہوسٹ کو ایک لوڈڈ ماڈل کو iOS/Android کلائنٹس کے ساتھ ایک قابل اعتماد مقامی نیٹ ورک پر شیئر کرنے کی اجازت دیتا ہے۔ - ایک کیپابلیٹیز ڈسکوری API (capabilities()) ایپس کو یہ جاننے کی اجازت دیتا ہے کہ موجودہ ڈیوائس اور انسٹالڈ انجن کیا واقعی میں انجام دے سکتے ہیں۔ SDK کی پختگی مختلف ہے: Swift، Kotlin، اور rcli مستحکم ہیں؛ Flutter، React Native، اور Web بیٹا میں ہیں؛ Electron پری ویو میں ہے؛ اور Python الفا میں ہے۔