इस प्रोजेक्ट के बारे में

BanglaNLP Hub बांग्ला (बंगाली) प्राकृतिक भाषा प्रसंस्करण संसाधनों की एक सामुदायिक-अनुरक्षित सूची है, जो बांग्ला भाषा के साथ काम करने वाले शोधकर्ताओं और चिकित्सकों के लिए एक केंद्रीकृत निर्देशिका के रूप में कार्य करती है। यह परियोजना 13 एनएलपी कार्यों में पेपर, डेटासेट, मॉडल, उपकरण और बेंचमार्क एकत्र करती है, जिसमें वर्तमान में 712 पेपर, 63 डेटासेट, 20 मॉडल और 9 उपकरण शामिल हैं। साइट Astro और TypeScript का उपयोग करके एक स्थिर साइट के रूप में बनाई गई है, जिसमें कोई क्लाइंट-साइड फ्रेमवर्क नहीं है — केवल कैटलॉग खोज, थीम टॉगल, मोबाइल नेविगेशन, कार्य टैब, तालिका सॉर्टिंग और BibTeX कॉपी करने के लिए छोटे वैनिला जावास्क्रिप्ट द्वीप हैं। सभी सामग्री /data निर्देशिका के अंतर्गत YAML फ़ाइलों से प्रस्तुत की जाती है, पृष्ठों में कुछ भी हार्डकोड नहीं है। परियोजना की एक परिभाषित विशेषता इसकी सख्त डेटा ईमानदारी नीति है। कैटलॉग कई नियम लागू करता है: कोई आविष्कृत मान नहीं (स्कोर, उद्धरण गणना और BibTeX प्रविष्टियाँ कभी संश्लेषित नहीं की जाती हैं), लीडरबोर्ड उचित उद्धरणों के साथ स्रोत होने तक खाली रहते हैं, सभी प्रकाशित लिंक रात में सत्यापित होते हैं, और प्रविष्टियाँ ACL Anthology, arXiv और OpenAlex जैसे आधिकारिक स्रोतों के विरुद्ध हाथ से सत्यापित की जाती हैं। परियोजना का इतिहास मूल डिज़ाइन प्रोटोटाइप से विरासत में मिली नकली प्रविष्टियों को हटाने का रहा है, जिसमें एक मॉडल जो अस्तित्व में नहीं था, एक आविष्कृत शीर्षक के तहत एक डुप्लिकेट, और बिना प्रकाशन वाला एक पेपर शामिल था। कैटलॉग URL पैरामीटर के माध्यम से साझा करने योग्य फ़िल्टर का समर्थन करता है। डेटासेट को क्वेरी, कार्य, लाइसेंस और वर्ष द्वारा फ़िल्टर किया जा सकता है; पेपर को क्वेरी, कार्य, स्थान और वर्ष द्वारा फ़िल्टर किया जा सकता है। लाइसेंस फ़िल्टर कैटलॉग के लाइसेंस टेक्स्ट को श्रेणियों (खुला, गैर-वाणिज्यिक, शोध, अन्य) में समूहित करते हैं लेकिन डेटासेट के लाइसेंस को सत्यापित या प्रमाणित नहीं करते हैं। खुली श्रेणी केवल MIT, Apache 2.0, CC0, ODC-BY, CC BY 4.0 और CC BY-SA 4.0 से मेल खाती है। परियोजना में Zod स्कीमा का उपयोग करके एक सत्यापन प्रणाली शामिल है जो लापता या गलत फ़ील्ड, खराब URL, पुरानी सत्यापन तिथियाँ, डुप्लिकेट ID या लिंक, और अज्ञात डेटासेट या पेपर का संदर्भ देने वाले लीडरबोर्ड की जाँच करती है। यह सत्यापन हर पुल अनुरोध पर CI में चलता है और तैनाती को रोकता है। योगदान दो तरीकों से स्वागत योग्य है: एक लिंक के साथ "संसाधन सबमिट करें" मुद्दा खोलना (सबसे तेज़ तरीका), या YAML फ़ाइलों को संपादित करके सीधे PR खोलना। परियोजना सभी योगदानकर्ताओं को CONTRIBUTORS.md में श्रेय देती है। सहायता की आवश्यकता वाले प्रमुख क्षेत्रों में पेपर कार्य असाइनमेंट की समीक्षा करना (अधिकांश पेपर शीर्षक अनुमान द्वारा कार्य असाइनमेंट के साथ थोक में आयात किए गए थे), खाली लीडरबोर्ड भरना (11 बेंचमार्क में से 9 खाली भेजे जाते हैं), लापता BibTeX प्रविष्टियाँ जोड़ना, डेटासेट आकार सत्यापित करना और नए संसाधन जोड़ना शामिल हैं। परियोजना में एक डिज़ाइन संदर्भ निर्देशिका भी शामिल है जिसमें मूल क्लाउड डिज़ाइन प्रोटोटाइप डेटा है जिससे YAML स्थानांतरित किया गया था, जिसे प्रोवेंस के लिए रखा गया है लेकिन बिल्ड समय पर उपयोग नहीं किया जाता है। साइट कोड MIT के तहत लाइसेंस प्राप्त है, जबकि कैटलॉग प्रविष्टियाँ तृतीय-पक्ष संसाधनों से लिंक होती हैं जो अपने स्वयं के लाइसेंस रखते हैं।