vllmvllm-project
नयाvLLM एक उच्च-थ्रूपुट और मेमोरी-कुशल लाइब्रेरी है जिसे Large Language Model (LLM) इन्फरेंस और सर्विंग के लिए डिज़ाइन किया गया है।
उत्कृष्ट ओपन-सोर्स प्रोजेक्ट खोजें, गुमनाम रूप से प्रोजेक्ट सबमिट करें और अपने प्रोजेक्ट का दावा कर उसे संपादित करें।
जिज्ञासा के साथ ओपन सोर्स खोजें।
THE FIRST COLLECTIONvLLM एक उच्च-थ्रूपुट और मेमोरी-कुशल लाइब्रेरी है जिसे Large Language Model (LLM) इन्फरेंस और सर्विंग के लिए डिज़ाइन किया गया है।
Lexos एक इवेंट-संचालित AI दस्तावेज़ प्रोसेसिंग इंजन है जो Go गेटवे, Python वर्कर्स, Redis क्यू और सेल्फ-होस्टेड मॉडल को जोड़ता है, जो ऑफ़लाइन RAG, सारांश और भाषण प्रतिलेखन के लिए है। यह गोपनीयता-केंद्रित, अतुल्यकालिक प्रसंस्करण और वास्तविक समय स्ट्रीमिंग प्रदान करता है।