Открытый код. Новые возможности.

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых (LLM) и мультимодальных моделей, разработанный для обеспечения низкой задержки и высокой пропускной способности при выводе.

LEANN — инновационная векторная база данных для персонального RAG, сокращающая затраты памяти до 97% за счёт графовой избирательной реконпутации.

vLLM — это высокопроизводительная и эффективная с точки зрения использования памяти библиотека, разработанная для инференса и развертывания больших языковых моделей (LLM).

Oumi — открытая платформа Apache-2.0 для полного жизненного цикла фундаментальных моделей: подготовка данных, обучение и дообучение (SFT, LoRA, QLoRA, GRPO), оценка, синтез данных с LLM-судьями и развёртывание через vLLM/SGLang, с CLI и запуском облачных задач.

Ollama — это инструмент, который позволяет пользователям локально запускать, управлять и создавать приложения на базе открытых больших языковых моделей в macOS, Windows и Linux.