Código aberto. Novas possibilidades.

Open Dungeon is a fully local AI roleplay app that generates stories and inline scene images on your machine using Ollama and FLUX, without cloud services or API keys.

Unsloth é um aplicativo de desktop e framework para executar e treinar grandes modelos de linguagem (LLMs) e modelos de difusão localmente no Windows, macOS e Linux.

Xinference é uma biblioteca unificada de inferência para servir modelos de linguagem, fala e multimodais. Oferece API RESTful compatível com OpenAI, uso heterogêneo de GPU/CPU, implantação distribuída e integrações com LangChain, LlamaIndex, Dify e Chatbox.

UL-SMF é um framework de compressão de cache KV para inferência Transformer de contexto longo, alegando até 384x de compressão via FSQ e mapeamento latente de 16D. A lógica central requer um binário proprietário fechado.

O LlamaFactory é um framework Python para ajuste fino eficiente de mais de 100 modelos de linguagem e multimodais, oferecendo CLI sem código, interface Web Gradio, LoRA/QLoRA e vários algoritmos de treinamento.

Ollama é uma ferramenta que permite aos usuários executar, gerenciar e construir com modelos de linguagem de código aberto localmente no macOS, Windows e Linux.

Hugging Face Transformers é um framework de definição de modelos para aprendizado de máquina em tarefas de texto, visão, áudio e multimodais. Oferece uma API unificada para inferência e treinamento com mais de 1 milhão de checkpoints pré-treinados.