sentence-transformers

Sentence Transformersは、テキストの高密度、スパース、マルチベクトル埋め込みを計算し、パッセージの再ランキングを行うためのPythonフレームワークです。Hugging Faceから事前学習済みモデルを読み込んだり、文をエンコードしたり、類似度スコアを計算するための使いやすいAPIを提供します。このフレームワークは、4つのモデルタイプをサポートしています：Sentence Transformer（高密度埋め込み）、Cross-Encoder（再ランカー）、Sparse Encoder（SPLADEスタイルのスパース埋め込み）、Multi-Vector Encoder（ColBERTスタイルの後期相互作用）。15,000以上の事前学習済みモデルが含まれており、さまざまな損失関数を用いたトレーニングやファインチューニングをサポートし、セマンティック検索、クラスタリング、パラフレーズマイニングなどのアプリケーション向けの広範なドキュメントと例を提供しています。