इस प्रोजेक्ट के बारे में

WebLLM एक उच्च-प्रदर्शन इन-ब्राउज़र LLM इन्फरेंस इंजन है जो भाषा मॉडल इन्फरेंस को सीधे वेब ब्राउज़र पर हार्डवेयर त्वरण के साथ लाता है। सब कुछ ब्राउज़र के अंदर चलता है, कोई सर्वर समर्थन नहीं चाहिए, और WebGPU के साथ त्वरित होता है। यह OpenAI API के साथ पूरी तरह संगत है, स्ट्रीमिंग, JSON-मोड, फ़ंक्शन-कॉलिंग (WIP), और अधिक का समर्थन करता है। मुख्य विशेषताओं में WebGPU के माध्यम से इन-ब्राउज़र इन्फरेंस, पूर्ण OpenAI API संगतता, संरचित JSON जनरेशन, व्यापक मॉडल समर्थन (Llama 3, Phi 3, Gemma, Mistral, Qwen, और अन्य), MLC प्रारूप में कस्टम मॉडल एकीकरण, npm या CDN के माध्यम से प्लग-एंड-प्ले एकीकरण, स्ट्रीमिंग और रीयल-टाइम इंटरैक्शन, Web Worker और Service Worker समर्थन, और Chrome एक्सटेंशन समर्थन शामिल हैं। WebLLM कई कैश बैकएंड का समर्थन करता है जिनमें ब्राउज़र Cache API, IndexedDB, Origin Private File System (OPFS), और एक प्रायोगिक क्रॉस-ओरिजिन स्टोरेज बैकएंड शामिल हैं। यह SRI हैश का उपयोग करके मॉडल आर्टिफैक्ट्स के लिए वैकल्पिक अखंडता सत्यापन भी प्रदान करता है। यह प्रोजेक्ट MLC LLM के सहयोगी के रूप में काम करता है, जो हार्डवेयर वातावरणों में LLM की सार्वभौमिक तैनाती को सक्षम बनाता है। डेवलपर्स इसे वेब एप्लिकेशन बनाने के लिए npm पैकेज के रूप में उपयोग कर सकते हैं, जिसमें चैटबॉट, स्ट्रीमिंग, JSON मोड, फ़ंक्शन कॉलिंग, सर्विस वर्कर्स, और Chrome एक्सटेंशन के उदाहरण उपलब्ध हैं।