Открытый код. Новые возможности.

PowerInfer — это локальный движок вывода LLM, использующий локальность активации: часто используемые «горячие» нейроны остаются на GPU, а зависимые от входа «холодные» вычисляются на CPU. Поддерживает гибридный или только CPU-вывод, обслуживание, пакетную обработку, оценку перплексии, INT4-квантование и модели PowerInfer GGUF.

YuE2 — открытая модель генерации музыки, объединяющая символьное планирование и синтез аудио: превращает текст и стилевой промпт в редактируемую партитуру мелодии и аккордов, затем создаёт полноценную песню с вокалом и аккомпанементом. Также поддерживает zero-shot каверы и агентное редактирование партитуры.

vLLM — это высокопроизводительная и эффективная с точки зрения использования памяти библиотека, разработанная для инференса и развертывания больших языковых моделей (LLM).

Repomix объединяет весь репозиторий в один файл, удобный для ИИ (XML, Markdown, JSON или текст), для подачи кода в LLM, такие как Claude, ChatGPT и Gemini. Он предлагает подсчет токенов, проверки безопасности, сжатие кода и поддержку удаленных репозиториев.

Проект с открытым исходным кодом для китайских больших языковых моделей LLaMA и Alpaca: расширение китайского словаря на основе оригинальной LLaMA, повторное предобучение, модели с инструктивной настройкой, веса LoRA, скрипты обучения и квантования, поддержка локального запуска на CPU/GPU.

Unsloth — это десктопное приложение и фреймворк для локального запуска и обучения больших языковых моделей (LLM) и диффузионных моделей на Windows, macOS и Linux.

LocalAI — это открытый self-hosted движок для ИИ, который запускает LLM, модели зрения, голоса, изображений и видео на любом железе, включая CPU. Поддерживает API OpenAI, Anthropic и ElevenLabs, модульные бэкенды по запросу, multi-user аутентификацию и встроенные агенты с RAG и MCP.

Oumi — открытая платформа Apache-2.0 для полного жизненного цикла фундаментальных моделей: подготовка данных, обучение и дообучение (SFT, LoRA, QLoRA, GRPO), оценка, синтез данных с LLM-судьями и развёртывание через vLLM/SGLang, с CLI и запуском облачных задач.

UL-SMF — это фреймворк сжатия KV-кэша для длинноконтекстных трансформеров, заявляющий до 384-кратного сжатия через FSQ и 16-мерное латентное отображение. Ключевая логика сжатия требует проприетарного закрытого бинарного файла.

LlamaFactory — это Python-фреймворк для эффективного дообучения более 100 больших языковых и мультимодальных моделей с zero-code CLI, Gradio Web UI, LoRA/QLoRA и множеством алгоритмов обучения.

AstrBot — это открытая платформа для чат-ботов-агентов, объединяющая модели крупных языковых моделей и фреймворки агентов с популярными мессенджерами, такими как QQ, Telegram, Slack и Feishu, с расширениями плагинов, WebUI и изолированным выполнением.

Langchain-Chatchat — это открытое офлайн-приложение RAG и Agent на основе Langchain и больших моделей ChatGLM, Qwen, Llama и других, поддерживающее локальные вопросы-ответы по базе знаний, подключение нескольких фреймворков вывода моделей, WebUI и API-сервисы.

Ollama — это инструмент, который позволяет пользователям локально запускать, управлять и создавать приложения на базе открытых больших языковых моделей в macOS, Windows и Linux.

Инструмент командной строки для повышения производительности, основанный на ИИ. Он генерирует команды оболочки, фрагменты кода и документацию, поддерживает режимы чата/REPL, пользовательские роли и вызов функций. Совместим с Linux, macOS и Windows.

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых (LLM) и мультимодальных моделей, разработанный для обеспечения низкой задержки и высокой пропускной способности при выводе.

PocketRisu — это самодостаточная платформа для AI-ролевых чатов, форк RisuAI, позволяющая запустить собственный сервер, доступный с ПК, планшета и смартфона через веб-браузер.

Aider — это инструмент для парного программирования на базе ИИ в терминале, который позволяет разработчикам сотрудничать с LLM для создания новых проектов или модификации существующего кода.