transformers — Hugging Face Transformers — это фреймворк определения моделей для машинного обучения, охватывающий текст, зрение, аудио и мультимодальные задачи. Он предоставляет унифицированный API для инференса и обучения с доступом к более чем 1 миллиону предобученных чекпоинтов.

Hugging Face Transformers — это фреймворк определения моделей для машинного обучения, охватывающий текст, зрение, аудио и мультимодальные задачи. Он предоставляет унифицированный API для инференса и обучения с доступом к более чем 1 миллиону предобученных чекпоинтов.

Об этом проекте

Transformers — это open-source фреймворк определения моделей, разработанный для задач машинного обучения, включающих текст, компьютерное зрение, аудио, видео и мультимодальные модели. Он служит центральным узлом в экосистеме машинного обучения, обеспечивая совместимость с основными фреймворками обучения (такими как Axolotl, Unsloth, DeepSpeed, FSDP и PyTorch-Lightning), движками инференса (включая vLLM, SGLang и TGI) и смежными библиотеками моделирования, такими как llama.cpp и mlx. ### Ключевые особенности - **Унифицированный API:** Предлагает согласованный интерфейс для обучения, оценки и запуска инференса на сотнях архитектур моделей. - **Pipeline API:** Высокоуровневая абстракция для быстрого инференса в различных модальностях, включая генерацию текста, автоматическое распознавание речи, классификацию изображений и визуальный поиск ответов на вопросы. - **Интероперабельность фреймворков:** Позволяет пользователям беспрепятственно перемещать одну и ту же модель между PyTorch, JAX и TensorFlow 2.0. - **Интеграция с Hugging Face Hub:** Обеспечивает прямой доступ к более чем 1 миллиону чекпоинтов предобученных моделей. - **Настраиваемые внутренние механизмы:** Архитектуры моделей разработаны с минимальными абстракциями, открывая внутренние структуры, что позволяет исследователям и разработчикам легко настраивать и итерировать файлы моделей независимо.