منصوبے کے بارے میں

BERTopic ایک ٹاپک ماڈلنگ تکنیک ہے جو ٹرانسفارمر ایمبیڈنگز اور c-TF-IDF کا استعمال کرکے گھنے کلسٹرز بناتی ہے، جس سے آسانی سے قابل فہم ٹاپکس تیار ہوتے ہیں جبکہ ٹاپک کی وضاحتوں میں اہم الفاظ محفوظ رہتے ہیں۔ یہ MIT لائسنس کے تحت Python پیکج (Python 3.10+) کے طور پر تقسیم کیا جاتا ہے، اور اس کے ساتھ ایک arXiv مقالہ بھی موجود ہے۔ بنیادی ورک فلو: دستاویزات کو ایمبیڈ کیا جاتا ہے، ایمبیڈنگز کی جہت کم کی جاتی ہے (عام طور پر UMAP)، ٹاپکس میں کلسٹر کیا جاتا ہے (عام طور پر HDBSCAN)، ٹوکنائز کیا جاتا ہے، c-TF-IDF کے ساتھ وزن دیا جاتا ہے، اور آخر میں ٹاپک کی وضاحتوں کے طور پر پیش کیا جاتا ہے۔ ان میں سے ہر مرحلہ ماڈیولر ہے اور اسے تبدیل یا ہٹایا جا سکتا ہے، لہذا صارفین حسب ضرورت پائپ لائنز بنا سکتے ہیں یا ڈیفالٹ طریقہ کے علاوہ متبادل ٹاپک ماڈلنگ تکنیکوں کو تلاش کر سکتے ہیں۔ معاون ٹاپک ماڈلنگ کی اقسام میں گائیڈڈ، سپروائزڈ، سیمی سپروائزڈ، دستی، ملٹی ٹاپک ڈسٹریبیوشن، ہائیرارکیکل، کلاس پر مبنی، ڈائنامک (وقت کے ساتھ ٹاپکس)، آن لائن/انکریمنٹل، ملٹی موڈل، ملٹی اسپیکٹ، ٹیکسٹ جنریشن/LLM، زیرو شاٹ، ماڈل انضمام، اور سیڈ ورڈز شامل ہیں۔ README میں 50+ زبانوں کا احاطہ کرنے والی زبان کی ترتیب کے ذریعے کثیر لسانی معاونت پر بھی روشنی ڈالی گئی ہے۔ ٹاپک کی نمائندگی کو KeyBERTInspired جیسے آپشنز، یا LLM پر مبنی ماڈلز (مثلاً OpenAI ماڈلز) کے ذریعے لیبلز، خلاصے، فقرے اور کلیدی الفاظ بنانے کے لیے بہتر کیا جا سکتا ہے۔ ملٹی اسپیکٹ نمائندگی ایک ساتھ متعدد نمائندگیوں کو ماڈل کرنے کی اجازت دیتی ہے۔ عام API طریقوں میں fit، fit_transform، transform، get_topic، get_topics، get_topic_freq، get_topic_info، get_document_info، get_representative_docs، update_topics، generate_topic_labels، set_topic_labels، merge_topics، reduce_topics، reduce_outliers، find_topics، save اور load شامل ہیں۔ عوامی خصوصیات جو انڈر اسکور پر ختم ہوتی ہیں وہ ٹاپکس، احتمالات، ٹاپک سائز، ٹاپک نمائندگی، c-TF-IDF میٹرکس، ٹاپک پہلو، لیبلز، ٹاپک ایمبیڈنگز اور نمائندہ دستاویزات ظاہر کرتی ہیں۔ ویژولائزیشن کے طریقوں میں visualize_topics، visualize_documents، visualize_hierarchical_documents، visualize_hierarchy، get_topic_tree، visualize_barchart، visualize_heatmap، visualize_term_rank، visualize_distribution، visualize_topics_over_time اور visualize_topics_per_class شامل ہیں۔ انسٹالیشن uv یا pip کے ذریعے دستیاب ہے، جس میں ایمبیڈنگ بیک اینڈز (flair، gensim، spacy، use)، ویژن، اور ٹرانسفارمرز، UMAP یا HDBSCAN کے بغیر ہلکی انسٹالیشن کے اختیاری اضافے شامل ہیں۔ دستاویزات، Colab نوٹ بک اور Kaggle مثالیں README سے منسلک ہیں۔