Открытый код. Новые возможности.

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых (LLM) и мультимодальных моделей, разработанный для обеспечения низкой задержки и высокой пропускной способности при выводе.

MoziAI-35B — это локально разворачиваемая открытая мультимодальная LLM с архитектурой MoE на 35B, сжатая до ~15,9 ГБ с помощью квантования MoziSmartBit, с контекстом 256K, зрением, вызовом инструментов и ориентированной на финансы структурой рассуждений.

vLLM — это высокопроизводительная и эффективная с точки зрения использования памяти библиотека, разработанная для инференса и развертывания больших языковых моделей (LLM).

LlamaFactory — это Python-фреймворк для эффективного дообучения более 100 больших языковых и мультимодальных моделей с zero-code CLI, Gradio Web UI, LoRA/QLoRA и множеством алгоритмов обучения.