Открытый код. Новые возможности.

Локальный мультимодальный плагин LLM для Unreal Engine 5, обеспечивающий офлайн-вывод для текста, преобразования речи в текст и текста в речь.

Jano — лёгкий OpenAI-совместимый маршрутизатор для запуска нескольких локальных LLM на одной GPU. Он уменьшает накладные расходы за счёт greedy batching: все ожидающие запросы к текущей модели обрабатываются сначала, переключение происходит только при необходимости, экономя от 30 секунд до 3 минут на локальном железе.

Lexos — это управляемый событиями движок обработки документов на базе ИИ, объединяющий шлюз на Go, Python-воркеры, очереди Redis и локально размещенные модели для офлайн-RAG, суммаризации и транскрипции речи.

ELI — приватный, полностью локальный ИИ-ассистент, работающий на вашем оборудовании. Голос, зрение, память и 227 возможностей в 17 областях: управление компьютером, медиа, документами, кодинг, автоматизация задач. По умолчанию офлайн, любая локальная GGUF-модель, опциональное GPU-ускорение и веб-панель для доступа по LAN.

vtmate — это набор инструментов для голосового ИИ в терминале с ультра-низкой задержкой, поддержкой 41 языка и интегрированными системами TTS/STT. Он обеспечивает живые голосовые беседы, дебаты, клонирование голоса, экспорт сессий и режим фонового демона с глобальными горячими клавишами для бесшовного взаимодействия с ИИ.

MoziAI-35B — это локально разворачиваемая открытая мультимодальная LLM с архитектурой MoE на 35B, сжатая до ~15,9 ГБ с помощью квантования MoziSmartBit, с контекстом 256K, зрением, вызовом инструментов и ориентированной на финансы структурой рассуждений.

Mimora — это бесплатный, полностью локальный тренажер произношения для английского и испанского языков. Он использует локальные модели TTS, распознавания речи и LLM для генерации фраз и оценки попыток пользователя с обратной связью на уровне слов, не требуя облачных сервисов или API-ключей.

Xinference — это унифицированная библиотека инференса для обслуживания языковых, речевых и мультимодальных моделей. Она предоставляет OpenAI-совместимый RESTful API, гетерогенное использование GPU/CPU, распределённое развертывание и интегрируется с LangChain, LlamaIndex, Dify и Chatbox.

SenseVoiceSmall — открытая речевая фундаментальная модель для ASR, определения языка, распознавания эмоций и аудиособытий; поддерживает китайский, кантонский, английский, японский и корейский языки с быстрым неавторегрессионным выводом.