इस प्रोजेक्ट के बारे में

BERTopic एक विषय मॉडलिंग तकनीक है जो ट्रांसफॉर्मर एम्बेडिंग और c-TF-IDF का उपयोग करके सघन क्लस्टर बनाती है, जिससे आसानी से व्याख्या करने योग्य विषय उत्पन्न होते हैं और विषय विवरणों में महत्वपूर्ण शब्द बने रहते हैं। यह MIT लाइसेंस के अंतर्गत एक Python पैकेज (Python 3.10+) के रूप में वितरित की जाती है, साथ में एक arXiv पेपर भी है। मुख्य कार्यप्रवाह: दस्तावेज़ों को एम्बेड किया जाता है, एम्बेडिंग का आयाम घटाया जाता है (आमतौर पर UMAP), विषयों में क्लस्टर किया जाता है (आमतौर पर HDBSCAN), टोकनाइज़ किया जाता है, c-TF-IDF से भारित किया जाता है, और अंत में विषय विवरणों के रूप में प्रस्तुत किया जाता है। इनमें से प्रत्येक चरण मॉड्यूलर है और इसे बदला या हटाया जा सकता है, इसलिए उपयोगकर्ता कस्टम पाइपलाइन बना सकते हैं या डिफ़ॉल्ट के ऊपर वैकल्पिक विषय मॉडलिंग तकनीकों का पता लगा सकते हैं। समर्थित विषय मॉडलिंग विविधताओं में गाइडेड, सुपरवाइज़्ड, सेमी-सुपरवाइज़्ड, मैनुअल, मल्टी-टॉपिक वितरण, पदानुक्रमित, क्लास-आधारित, डायनामिक (समय के साथ विषय), ऑनलाइन/इंक्रीमेंटल, मल्टीमॉडल, मल्टी-एस्पेक्ट, टेक्स्ट जनरेशन/LLM, ज़ीरो-शॉट, मॉडल मर्जिंग और सीड शब्द शामिल हैं। README 50+ भाषाओं को कवर करने वाली भाषा सेटिंग के माध्यम से बहुभाषी समर्थन पर भी प्रकाश डालता है। विषय प्रतिनिधित्व को KeyBERTInspired जैसे विकल्पों के साथ, या लेबल, सारांश, वाक्यांश और कीवर्ड उत्पन्न करने के लिए LLM-आधारित मॉडलों (उदाहरण के लिए OpenAI मॉडल) के साथ परिष्कृत किया जा सकता है। मल्टी-एस्पेक्ट प्रतिनिधित्व एक साथ कई प्रतिनिधित्वों को मॉडल करने की अनुमति देते हैं। सामान्य API विधियों में fit, fit_transform, transform, get_topic, get_topics, get_topic_freq, get_topic_info, get_document_info, get_representative_docs, update_topics, generate_topic_labels, set_topic_labels, merge_topics, reduce_topics, reduce_outliers, find_topics, save और load शामिल हैं। अंडरस्कोर पर समाप्त होने वाली सार्वजनिक विशेषताएँ topics, probabilities, topic sizes, topic representations, c-TF-IDF मैट्रिक्स, topic aspects, labels, topic embeddings और representative documents को उजागर करती हैं। विज़ुअलाइज़ेशन विधियों में visualize_topics, visualize_documents, visualize_hierarchical_documents, visualize_hierarchy, get_topic_tree, visualize_barchart, visualize_heatmap, visualize_term_rank, visualize_distribution, visualize_topics_over_time और visualize_topics_per_class शामिल हैं। इंस्टॉलेशन uv या pip के माध्यम से उपलब्ध है, जिसमें एम्बेडिंग बैकएंड (flair, gensim, spacy, use), विज़न, और ट्रांसफॉर्मर, UMAP या HDBSCAN के बिना एक हल्के इंस्टॉलेशन के लिए वैकल्पिक एक्स्ट्रा शामिल हैं। दस्तावेज़ीकरण, Colab नोटबुक और Kaggle उदाहरण README से लिंक किए गए हैं।