bertopic

BERTopicは、トランスフォーマー埋め込みとc-TF-IDFを活用して密なクラスタを作成するトピックモデリング手法であり、トピック記述に重要な単語を保持しながら、容易に解釈できるトピックを生成します。MITライセンスの下でPythonパッケージ（Python 3.10以上）として配布されており、arXiv論文も伴っています。 コアワークフロー：文書が埋め込まれ、埋め込みが次元削減され（通常はUMAP）、トピックにクラスタリングされ（通常はHDBSCAN）、トークン化され、c-TF-IDFで重み付けされ、最終的にトピック記述として表現されます。これらの各ステップはモジュール式で、交換または削除が可能なため、ユーザーはカスタムパイプラインを構築したり、デフォルトの手法の上に代替のトピックモデリング手法を探索したりできます。 サポートされるトピックモデリングのバリエーションには、ガイド付き、教師あり、半教師あり、手動、マルチトピック分布、階層的、クラスベース、動的（時間経過に伴うトピック）、オンライン/インクリメンタル、マルチモーダル、マルチアスペクト、テキスト生成/LLM、ゼロショット、モデルマージ、シードワードが含まれます。READMEでは、50以上の言語をカバーする言語設定による多言語サポートも強調されています。 トピック表現は、KeyBERTInspiredなどのオプションや、LLMベースのモデル（例えばOpenAIモデル）を用いてラベル、要約、フレーズ、キーワードを生成することで洗練できます。マルチアスペクト表現では、複数の表現を同時にモデリングできます。 一般的なAPIメソッドには、fit、fit_transform、transform、get_topic、get_topics、get_topic_freq、get_topic_info、get_document_info、get_representative_docs、update_topics、generate_topic_labels、set_topic_labels、merge_topics、reduce_topics、reduce_outliers、find_topics、save、loadが含まれます。アンダースコアで終わる公開属性は、トピック、確率、トピックサイズ、トピック表現、c-TF-IDF行列、トピックアスペクト、ラベル、トピック埋め込み、代表文書を公開します。 可視化メソッドには、visualize_topics、visualize_documents、visualize_hierarchical_documents、visualize_hierarchy、get_topic_tree、visualize_barchart、visualize_heatmap、visualize_term_rank、visualize_distribution、visualize_topics_over_time、visualize_topics_per_classが含まれます。 インストールはuvまたはpipで可能で、埋め込みバックエンド（flair、gensim、spacy、use）、ビジョン、およびtransformers、UMAP、HDBSCANなしの軽量インストール用のオプションの追加機能があります。ドキュメント、Colabノートブック、Kaggleの例はREADMEからリンクされています。