ओपन सोर्स। नई संभावनाएँ।

大规模中文NLP语料库，含维基、新闻、百科问答、社区问答及中英翻译等高质量数据集，用于大模型预训练与多种任务。

Hugging Face Tokenizers एक तेज़, अत्याधुनिक NLP टोकनाइज़ेशन लाइब्रेरी है जो Rust कोर और Python/Node.js बाइंडिंग्स के साथ कई मॉडल और भाषाओं का समर्थन करती है।

Spark NLP Apache Spark पर आधारित एक NLP लाइब्रेरी है जो स्केलेबल एनोटेशन, 200+ भाषाओं में 100,000+ प्रीट्रेन्ड पाइपलाइन और मॉडल प्रदान करती है, और Python, R, Java, Scala और Kotlin में ट्रांसफॉर्मर, LLM, भाषण और विज़न कार्यों का समर्थन करती है।

BERTopic एक Python विषय मॉडलिंग लाइब्रेरी है जो ट्रांसफॉर्मर एम्बेडिंग और c-TF-IDF को जोड़कर व्याख्यायोग्य विषय क्लस्टर बनाती है। यह सुपरवाइज़्ड, डायनामिक, पदानुक्रमित, मल्टीमॉडल और LLM-आधारित प्रतिनिधित्व तथा कई विज़ुअलाइज़ेशन विकल्प समर्थित करती है।