sentence-transformers

Sentence Transformers — это Python-фреймворк для вычисления плотных, разреженных и многовекторных эмбеддингов для текстов, а также для реранжирования пассажей. Он предоставляет простые в использовании API для загрузки предобученных моделей с Hugging Face, кодирования предложений и вычисления оценок сходства. Фреймворк поддерживает четыре типа моделей: Sentence Transformer (плотные эмбеддинги), Cross-Encoder (реранкер), Sparse Encoder (разреженные эмбеддинги в стиле SPLADE) и Multi-Vector Encoder (позднее взаимодействие в стиле ColBERT). Он включает более 15 000 предобученных моделей, поддерживает обучение и дообучение с различными функциями потерь, а также предлагает обширную документацию и примеры для таких приложений, как семантический поиск, кластеризация и поиск парафраз.