इस प्रोजेक्ट के बारे में

नीडल एक विशेष फाउंडेशन मॉडल आर्किटेक्चर है जिसे माइक्रोकंट्रोलर, रोबोट, स्मार्ट होम हार्डवेयर और मोबाइल प्लेटफॉर्म सहित छोटे उपकरणों पर तैनाती के लिए डिज़ाइन किया गया है। यह मॉडल 'Laddered Simple Attention Network' आर्किटेक्चर का उपयोग करता है, जिससे यह केवल 8-29 MB के फुटप्रिंट के साथ प्रभावी ढंग से कार्य कर सकता है। यह तीन प्राथमिक कार्यों के लिए अनुकूलित है: टूल कॉलिंग, संरचित डेटा निष्कर्षण और टेक्स्ट एम्बेडिंग। मुख्य विशेषताएं शामिल हैं: - टूल कॉलिंग: मॉडल प्राकृतिक भाषा अनुरोधों को पार्स कर सकता है ताकि सही आर्गुमेंट्स के साथ विशिष्ट फ़ंक्शन ट्रिगर किए जा सकें, और असमर्थित क्वेरीज़ के लिए अनुमान लगाने के बजाय खाली सूचियां लौटाता है। - संरचित निष्कर्षण: असंरचित टेक्स्ट को टाइप्ड JSON फ़ील्ड में परिवर्तित करता है, जो इनवॉइस, फॉर्म या नोटिफिकेशन प्रोसेस करने के लिए उपयोगी है। - टेक्स्ट एम्बेडिंग: स्थानीय खोज और रूटिंग कार्यों के लिए वेक्टर प्रतिनिधित्व प्रदान करता है। - स्केलेबिलिटी: आर्किटेक्चर गहराई के 'लैडर' (2 से 20 परतें) का समर्थन करता है, जिससे डेवलपर्स अपनी विशिष्ट हार्डवेयर सीमाओं के लिए इष्टतम मॉडल आकार चुन सकते हैं। - फाइन-ट्यूनिंग: डोमेन-विशिष्ट कार्यों पर प्रदर्शन सुधारने के लिए स्थानीय LoRA-आधारित फाइन-ट्यूनिंग और प्लेटफॉर्म-आधारित पूर्ण-मॉडल फाइन-ट्यूनिंग दोनों का समर्थन करता है। - तैनाती: macOS, Linux और WASI सहित विभिन्न प्लेटफॉर्म के लिए एक हल्का इंजन (1 MB से कम) शामिल है, जिसमें एयर-गैप्ड वातावरण के लिए समर्थन है।