Sobre o projeto

mlx-serve é um servidor nativo para executar modelos de linguagem grandes localmente em Macs com Apple Silicon. Escrito em Zig, não requer Python em tempo de execução, sendo distribuído como um binário pequeno junto com um app opcional de menu-bar assinado chamado MLX Core. O suporte a modelos abrange arquiteturas MLX nativas (Gemma, Qwen, Llama, Mistral, DeepSeek, Hunyuan e outras) além do ecossistema GGUF mais amplo por meio de um llama.cpp embutido, roteado automaticamente por formato. Modelos podem ser baixados do Hugging Face por nome curto, ID org/repo ou nome:tag, e são carregados sob demanda por nome. No lado da API, o servidor expõe várias superfícies compatíveis em uma única porta: chat/completions e Responses da OpenAI (incluindo transporte WebSocket), Messages da Anthropic e a API Ollama. Isso significa que clientes existentes e agentes de codificação que falam qualquer um desses protocolos podem apontar para o endpoint local sem modificação. Streaming, chamada de ferramentas com reparo guiado por esquema, decodificação restrita por JSON-schema, logprobs, entrada de visão e conteúdo de raciocínio estão entre os recursos de serviço suportados. Além de texto, o mesmo servidor oferece endpoints para geração de imagem, vídeo, áudio/fala (com clonagem de voz), música e modelos 3D, com várias opções de modelo listadas por modalidade e requisitos aproximados de memória. Um console web integrado fornece playground de chat, monitoramento e ferramentas de mídia. O app MLX Core adiciona chat multi-sessão, modo agente com ferramentas integradas e suporte a MCP, sandbox de VM Linux isolada para comandos shell do agente, navegador de modelos com downloads retomáveis, modo de voz, tarefas agendadas, compartilhamento de modelos em LAN entre Macs e uma janela de configurações para flags do servidor. O README também documenta variantes de decodificação especulativa, quantização de cache KV, batching contínuo e cache, e links para documentação de benchmark e desempenho. A instalação está disponível por meio de casks Homebrew ou compilando a partir do código-fonte com Xcode e o toolchain Metal. O projeto é licenciado sob MIT e inclui componentes de terceiros sob suas próprias licenças, com atribuições listadas em um arquivo NOTICE.