منصوبے کے بارے میں

WebLLM ایک اعلیٰ کارکردگی والا براؤزر میں LLM انفرنس انجن ہے جو زبان کے ماڈل انفرنس کو ہارڈویئر ایکسلریشن کے ساتھ براہ راست ویب براؤزرز پر لاتا ہے۔ سب کچھ براؤزر کے اندر چلتا ہے بغیر کسی سرور سپورٹ کے اور WebGPU کے ساتھ ایکسلریٹ ہوتا ہے۔ یہ مکمل طور پر OpenAI API کے ساتھ مطابقت رکھتا ہے، اسٹریمنگ، JSON-موڈ، فنکشن کالنگ (WIP) اور مزید کی حمایت کرتا ہے۔ اہم خصوصیات میں WebGPU کے ذریعے براؤزر میں انفرنس، مکمل OpenAI API مطابقت، سٹرکچرڈ JSON جنریشن، وسیع ماڈل سپورٹ (Llama 3، Phi 3، Gemma، Mistral، Qwen، اور دیگر)، MLC فارمیٹ میں حسب ضرورت ماڈل انٹیگریشن، npm یا CDN کے ذریعے پلگ اینڈ پلے انٹیگریشن، اسٹریمنگ اور ریئل ٹائم تعاملات، Web Worker اور Service Worker سپورٹ، اور Chrome ایکسٹینشن سپورٹ شامل ہیں۔ WebLLM متعدد کیش بیک اینڈز کو سپورٹ کرتا ہے جن میں براؤزر Cache API، IndexedDB، Origin Private File System (OPFS)، اور ایک تجرباتی کراس اوریجن اسٹوریج بیک اینڈ شامل ہیں۔ یہ SRI ہیشز کا استعمال کرتے ہوئے ماڈل آرٹیفیکٹس کے لیے اختیاری انٹیگریٹی تصدیق بھی فراہم کرتا ہے۔ یہ پروجیکٹ MLC LLM کے ساتھی کے طور پر کام کرتا ہے، جو ہارڈویئر ماحول میں LLMs کی یونیورسل تعیناتی کو ممکن بناتا ہے۔ ڈویلپرز اسے ویب ایپلیکیشنز بنانے کے لیے npm پیکج کے طور پر استعمال کر سکتے ہیں، جس میں چیٹ بوٹس، اسٹریمنگ، JSON موڈ، فنکشن کالنگ، سروس ورکرز، اور Chrome ایکسٹینشنز کے لیے مثالیں دستیاب ہیں۔