معیاری اوپن سورس پروجیکٹس دریافت کریں، گمنام طور پر پروجیکٹس جمع کریں، اور اپنے پروجیکٹ کا دعویٰ کرکے اسے ایڈٹ کریں۔
OrbitKV vLLM اور SGLang کے لیے ایک بیرونی KV کیش ہے جو GPU سے خارج ہونے کے بعد دوبارہ قابل استعمال prefixes کو DRAM اور SSD میں رکھتا ہے اور مماثل درخواستوں پر انہیں بحال کرتا ہے۔ یہ فی ہوسٹ Cache Manager چلاتا ہے، اختیاری دوبارہ استعمال کی پالیسیاں، CUDA IPC کے ذریعے GPU منتقلی، اور تجرباتی ملٹی نوڈ اشتراک کو سپورٹ کرتا ہے۔
OpenVINO ایک اوپن سورس ٹول کٹ ہے جو CPU، GPU اور NPU پر AI انفرنس کو بہتر بنانے اور تعینات کرنے کے لیے ہے، جو PyTorch، TensorFlow، ONNX اور دیگر کے ماڈلز کی معاونت کرتی ہے۔
Cactus موبائل آلات، پہننے کے قابل آلات، سمارٹ ہوم اور روبوٹس کے لیے ایک ہائبرڈ ایج-کلاؤڈ AI انفرنس انجن ہے، جس میں کسٹم کوانٹائزیشن، CPU/GPU کرنلز، اور متن، تقریر اور بصارت کے لیے OpenAI-مطابق APIs شامل ہیں۔
Dynamo ایک اوپن سورس ڈیٹا سینٹر پیمانے کی انفرنس آرکیسٹریشن لیئر ہے جو vLLM، SGLang اور TensorRT-LLM جیسے انجنوں کو متعدد GPUs پر مربوط کرتی ہے، اور disaggregated prefill/decode، KV-aware routing، multi-tier KV caching اور SLA-driven autoscaling شامل کرتی ہے۔
KServe ایک CNCF انکیوبیٹنگ پلیٹ فارم ہے جو Kubernetes پر جنریٹو اور پیش گوئی کرنے والی AI انفرنس تعینات کرنے کے لیے ہے، جو کثیر فریم ورک ماڈلز، OpenAI کے مطابق LLM سروسنگ، آٹو اسکیلنگ، کینری رول آؤٹس، اور ماڈل وضاحت کی معاونت کرتا ہے۔
TurboFieldfare ایک Swift اور Metal رن ٹائم ہے جو Gemma 4 26B-A4B ماڈل کو Apple Silicon Macs پر تقریباً 2 GB RAM میں چلاتا ہے، SSD سے ماہرین کو سٹریم کر کے۔ اس میں مقامی Mac ایپ، CLI، سٹریمنگ انسٹالر اور OpenAI مطابق سرور شامل ہے۔
لیمونیڈ ایک مقامی AI سرور ہے جو آپ کے اپنے GPU یا NPU پر بہتر بنائے گئے LLMs، تقریر، تصویر اور 3D ماڈلز چلاتا ہے۔ یہ OpenAI، Anthropic اور Ollama کے مطابق APIs، CLI، ماڈل منیجر، اور ایپس میں مقامی AI شامل کرنے کے لیے ایک ایمبیڈ ایبل بائنری پیش کرتا ہے۔
PowerInfer ایک مقامی LLM انجن ہے جو ایکٹیویشن لوکلٹی کا استعمال کرتے ہوئے بار بار استعمال ہونے والے نیوران GPU پر رکھتا ہے اور ان پٹ پر منحصر نیوران CPU پر چلاتا ہے۔ یہ ہائبرڈ یا CPU-only انفرنس، سروسنگ، بیچنگ، پرپلیکسیٹی ایویلیوایشن، INT4 کوانٹائزیشن، اور PowerInfer GGUF ماڈلز کو سپورٹ کرتا ہے۔
ایٹامک چیٹ ایک مقامی AI ڈیسک ٹاپ اور موبائل ایپ ہے جو اوپن-ویٹ LLMs کو آف لائن چلاتی ہے، localhost:1337/v1 پر OpenAI کے ساتھ مطابقت رکھنے والا سرور فراہم کرتی ہے تاکہ ایجنٹس، CLIs اور IDE پلگ ان مقامی ماڈلز استعمال کر سکیں۔
Gitleaks ایک اوپن سورس سیکریٹ ڈیٹیکشن ٹول ہے جو git ریپوزٹریز، ڈائریکٹریز، فائلوں اور stdin کو پاس ورڈز، API کیز اور ٹوکنز کے لیے اسکین کرتا ہے، جس میں pre-commit hook اور CI ایکشن انٹیگریشن شامل ہیں۔
Lumen ایک Rust LLM inference انجن ہے جو Apple Silicon (Metal) اور NVIDIA CUDA کے لیے بنایا گیا ہے، جس میں PyTorch/ONNX/Python کی کوئی dependency نہیں۔ یہ Qwen3.5/3.8 ماڈلز کو download، convert اور GPU-resident چلاتا ہے، اور OpenAI/Anthropic-compatible HTTP serving کے ساتھ CUDA text-to-image بھی فراہم کرتا ہے۔
RuVector ایک اعلیٰ کارکردگی والا، خود سیکھنے والا ویکٹر میموری ڈیٹا بیس ہے جو Rust میں AI ایجنٹس کے لیے بنایا گیا ہے۔ یہ مقامی سیمنٹک ایمبیڈنگز، مستقل ویکٹر بازیافت، گراف تعلقات، واضح فیڈ بیک لرننگ، اور میموری لائف سائیکل کنٹرولز کو یکجا کرتا ہے۔ Node.js، Rust، WASM، HTTP، اور PostgreSQL تعیناتیوں کے ساتھ اختیاری مشترکہ میموری سپورٹ کرتا ہے۔
Ray ایک متحد فریم ورک ہے جو AI اور Python ایپلی کیشنز کو ایک سنگل لیپ ٹاپ سے لے کر ایک ڈسٹری بیوٹڈ کلسٹر تک اسکیل کرنے کے لیے استعمال ہوتا ہے۔
