Об этом проекте

TextGen — это открытое настольное приложение для запуска больших языковых моделей локально. Оно предназначено для пользователей, заботящихся о конфиденциальности, которые хотят интерфейс, похожий на ChatGPT, без отправки данных во внешние сервисы: проект заявляет, что он на 100% офлайн, без телеметрии, внешних ресурсов или удаленных запросов на обновление. Начало работы быстрое. Портативные сборки для Linux, Windows и macOS публикуются в виде релизов, с вариантами CUDA, Vulkan, ROCm и только CPU, и все зависимости включены. После распаковки и запуска открывается окно. Модели GGUF с Hugging Face можно перетащить в папку user_data/models, и они будут обнаружены автоматически. Полный путь установки также задокументирован для пользователей, которым нужны дополнительные бэкенды, обучение, генерация изображений или расширения; он использует Miniforge/Conda или скрипт запуска в один клик и требует примерно 10 ГБ дискового пространства. Основные возможности включают: - Чат и генерация: режим инструкций для следования инструкциям, а также режимы чата и чат-инструкций для пользовательских персонажей, с форматированием подсказок через шаблоны Jinja2. Вкладка блокнота поддерживает свободную генерацию. - Мультимодальный ввод: к сообщениям можно прикреплять изображения для визуального понимания, а также загружать текстовые файлы, PDF и документы .docx для обсуждения. - Управление разговором: редактирование сообщений, навигация между версиями сообщений и ветвление разговоров. - Несколько бэкендов: llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3 и TensorRT-LLM, с возможностью переключения бэкендов и моделей без перезапуска. - Совместимость с API: конечные точки Chat, Completions и Messages, совместимые с OpenAI/Anthropic, с поддержкой вызова инструментов, позиционируется как локальная замена этих API. - Вызов инструментов: модели могут вызывать пользовательские функции, такие как веб-поиск, получение страниц и математика; каждый инструмент — это один файл Python, поддерживаются серверы MCP. - Обучение: тонкая настройка LoRA на многоходовых чатах или наборах необработанного текста, с возможностью возобновления запусков. - Генерация изображений: отдельная вкладка для моделей diffusers с 4-битным/8-битным квантованием и постоянная галерея, хранящая метаданные изображений. - Интерфейс: темные/светлые темы, подсветка синтаксиса кода, рендеринг LaTeX, а также встроенные или общественные расширения, включая TTS, голосовой ввод и перевод. Проект предоставляет обширный набор параметров командной строки, охватывающих загрузчики моделей, параметры контекста и KV-кэша, спекулятивное декодирование, выгрузку слоев GPU, разделение тензоров, квантование, параметры выборки и конфигурацию сервера/API. Файлы Docker Compose предоставляются для настроек NVIDIA, AMD, Intel и только CPU. TextGen лучше всего понимать как локальную среду выполнения моделей и интерфейс чата, а не как размещенный сервис. Его основная ценность заключается в объединении настольного интерфейса, API, совместимого с OpenAI, и управления моделями в одном офлайн-пакете, что делает его подходящим для пользователей, которые хотят экспериментировать с локальными LLM или развертывать их, сохраняя данные на собственном оборудовании.