عن المشروع

WebLLM هو محرك استدلال عالي الأداء يعمل داخل المتصفح، ويجلب استدلال نماذج اللغة مباشرة إلى متصفحات الويب مع تسارع الأجهزة. كل شيء يعمل داخل المتصفح دون دعم خادم، ويتم تسريعه باستخدام WebGPU. وهو متوافق تمامًا مع واجهة برمجة تطبيقات OpenAI، ويدعم البث، ووضع JSON، واستدعاء الدوال (قيد التطوير)، والمزيد. تشمل الميزات الرئيسية الاستدلال داخل المتصفح عبر WebGPU، والتوافق الكامل مع واجهة برمجة تطبيقات OpenAI، وتوليد JSON المنظم، ودعم واسع للنماذج (Llama 3، Phi 3، Gemma، Mistral، Qwen، وغيرها)، وتكامل النماذج المخصصة بتنسيق MLC، والتكامل السهل عبر npm أو CDN، والبث والتفاعلات في الوقت الفعلي، ودعم Web Worker وService Worker، ودعم إضافات Chrome. يدعم WebLLM عدة خلفيات تخزين مؤقت بما في ذلك واجهة برمجة تطبيقات ذاكرة التخزين المؤقت للمتصفح، وIndexedDB، ونظام الملفات الخاص بالأصل (OPFS)، وخلفية تخزين تجريبية عبر الأصول. كما يوفر تحققًا اختياريًا من سلامة نماذج القطع باستخدام تجزئات SRI. يعمل المشروع كمرافق لـ MLC LLM، مما يتيح نشرًا عالميًا لنماذج اللغة عبر بيئات الأجهزة. يمكن للمطورين استخدامه كحزمة npm لبناء تطبيقات الويب، مع أمثلة متاحة لروبوتات الدردشة، والبث، ووضع JSON، واستدعاء الدوال، وخدمة العمال، وإضافات Chrome.