textgen

TextGen es una aplicación de escritorio de código abierto para ejecutar grandes modelos de lenguaje localmente. Está diseñada para usuarios preocupados por la privacidad que quieren una interfaz similar a ChatGPT sin enviar datos a servicios externos: el proyecto afirma que es 100% sin conexión, con cero telemetría, recursos externos o solicitudes de actualización remotas. Empezar es rápido. Las compilaciones portables para Linux, Windows y macOS se publican como versiones, con variantes CUDA, Vulkan, ROCm y solo CPU, e incluyen todas las dependencias. Tras descomprimir e iniciar, se abre una ventana. Los modelos GGUF de Hugging Face pueden colocarse en la carpeta user_data/models y se detectan automáticamente. También se documenta una instalación completa para usuarios que necesiten backends adicionales, entrenamiento, generación de imágenes o extensiones; utiliza Miniforge/Conda o un script de inicio de un clic y requiere aproximadamente 10 GB de espacio en disco. Las capacidades principales incluyen: - Chat y generación: modo instruct para seguir instrucciones, además de modos chat y chat-instruct para personajes personalizados, con avisos formateados mediante plantillas Jinja2. Una pestaña de cuaderno admite generación de forma libre. - Entrada multimodal: se pueden adjuntar imágenes a los mensajes para comprensión visual, y se pueden subir archivos de texto, PDF y documentos .docx para discutirlos. - Gestión de conversaciones: editar mensajes, navegar entre versiones de mensajes y ramificar conversaciones. - Múltiples backends: llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3 y TensorRT-LLM, con la capacidad de cambiar de backend y de modelo sin reiniciar. - Compatibilidad de API: endpoints Chat, Completions y Messages compatibles con OpenAI/Anthropic, con soporte para llamada de herramientas, posicionado como un reemplazo local directo para esas APIs. - Llamada de herramientas: los modelos pueden invocar funciones personalizadas como búsqueda web, obtención de páginas y matemáticas; cada herramienta es un único archivo Python, y se admiten servidores MCP. - Entrenamiento: ajustar LoRAs en conjuntos de datos de chat multi-turno o texto sin procesar, con ejecuciones reanudables. - Generación de imágenes: una pestaña dedicada para modelos diffusers con cuantización de 4/8 bits y una galería persistente que almacena metadatos de imágenes. - Interfaz: temas oscuros/claros, resaltado de sintaxis de código, renderizado LaTeX y extensiones integradas o de la comunidad, incluyendo TTS, entrada de voz y traducción. El proyecto expone un amplio conjunto de banderas de línea de comandos que cubren cargadores de modelos, opciones de contexto y caché KV, decodificación especulativa, descarga de capas a GPU, división de tensores, cuantización, parámetros de muestreo y configuración de servidor/API. Se proporcionan archivos Docker Compose para configuraciones NVIDIA, AMD, Intel y solo CPU. TextGen se entiende mejor como un runtime de modelos local y un frontend de chat, más que como un servicio alojado. Su valor principal es combinar una interfaz de escritorio, una API compatible con OpenAI y la gestión de modelos en un solo paquete sin conexión, lo que lo hace adecuado para usuarios que quieren experimentar o implementar LLMs locales manteniendo los datos en su propio hardware.