textgen

TextGen é um aplicativo de desktop de código aberto para executar grandes modelos de linguagem localmente. Ele é projetado para usuários preocupados com privacidade que desejam uma interface semelhante ao ChatGPT sem enviar dados a serviços externos: o projeto afirma ser 100% offline, com zero telemetria, recursos externos ou solicitações de atualização remota. Começar é rápido. Builds portáteis para Linux, Windows e macOS são publicados como releases, com variantes CUDA, Vulkan, ROCm e somente CPU, e todas as dependências incluídas. Após descompactar e iniciar, uma janela abre. Modelos GGUF do Hugging Face podem ser colocados na pasta user_data/models e são detectados automaticamente. Um caminho de instalação completo também é documentado para usuários que precisam de backends adicionais, treinamento, geração de imagens ou extensões; ele usa Miniforge/Conda ou um script de início com um clique e requer aproximadamente 10 GB de espaço em disco. Recursos principais incluem: - Chat e geração: modo instruct para seguir instruções, além dos modos chat e chat-instruct para personagens personalizados, com prompts formatados por meio de templates Jinja2. Uma aba de notebook suporta geração livre. - Entrada multimodal: imagens podem ser anexadas a mensagens para compreensão visual, e arquivos de texto, PDFs e documentos .docx podem ser enviados para discussão. - Gerenciamento de conversas: edite mensagens, navegue entre versões de mensagens e ramifique conversas. - Múltiplos backends: llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3 e TensorRT-LLM, com a capacidade de trocar de backend e modelo sem reiniciar. - Compatibilidade de API: endpoints Chat, Completions e Messages compatíveis com OpenAI/Anthropic, com suporte a chamada de ferramentas, posicionado como um substituto local para essas APIs. - Chamada de ferramentas: os modelos podem invocar funções personalizadas, como pesquisa na web, busca de páginas e matemática; cada ferramenta é um único arquivo Python, e servidores MCP são suportados. - Treinamento: ajuste fino de LoRAs em conversas multi-turn ou datasets de texto bruto, com execuções retomáveis. - Geração de imagens: uma aba dedicada para modelos diffusers com quantização de 4 bits/8 bits e uma galeria persistente que armazena metadados de imagens. - Interface: temas claro/escuro, realce de sintaxe de código, renderização LaTeX e extensões integradas ou da comunidade, incluindo TTS, entrada de voz e tradução. O projeto expõe um conjunto extenso de flags de linha de comando que cobrem carregadores de modelo, opções de contexto e cache KV, decodificação especulativa, offload de camadas GPU, divisão de tensores, quantização, parâmetros de amostragem e configuração de servidor/API. Arquivos Docker Compose são fornecidos para configurações NVIDIA, AMD, Intel e somente CPU. TextGen é melhor compreendido como um runtime de modelo local e front-end de chat, em vez de um serviço hospedado. Seu principal valor é combinar uma UI desktop, uma API compatível com OpenAI e gerenciamento de modelos em um único pacote offline, tornando-o adequado para usuários que desejam experimentar ou implantar LLMs locais mantendo os dados em seu próprio hardware.