Código aberto. Novas possibilidades.

Um plugin de LLM multimodal local para Unreal Engine 5 que oferece inferência offline para texto, fala para texto e texto para fala.

Jano é um roteador leve compatível com OpenAI que permite que múltiplos LLMs locais compartilhem uma única GPU por meio de agrupamento inteligente de requisições e minimização de trocas de modelos.

Lexos é um mecanismo de processamento de documentos com IA orientado a eventos, combinando um gateway Go, workers Python, filas Redis e modelos auto-hospedados para RAG offline, sumarização e transcrição de fala.

ELI é um assistente de IA privado, local e offline, que roda inteiramente no seu hardware. Oferece voz, visão, memória e 227 capacidades em 17 áreas, incluindo controle de computador, mídia, documentos, código e automação. Usa qualquer modelo GGUF local, é agnóstico de modelo, com aceleração de GPU opcional e painel web para acesso remoto na LAN. Sem dependências de nuvem.

vtmate é um kit de ferramentas de IA de voz baseado em terminal, com latência ultrabaixa, suporte a 41 idiomas e integração TTS/STT. Permite conversas ao vivo, debates, clonagem de voz, exportação de sessões e modo daemon com atalhos globais.

MoziAI-35B é um LLM multimodal open-source implantável localmente, com arquitetura MoE de 35B comprimida para ~15,9 GB via quantização MoziSmartBit, oferecendo contexto de 256K, visão, chamada de ferramentas e um framework de raciocínio focado em finanças.

Mimora é um treinador de pronúncia gratuito e totalmente local para inglês e espanhol. Ele usa TTS on-device, reconhecimento de fala e um LLM local para gerar frases e pontuar tentativas do usuário com feedback de nível de palavra, sem exigir nuvem ou chaves de API.

Xinference é uma biblioteca unificada de inferência para servir modelos de linguagem, fala e multimodais. Oferece API RESTful compatível com OpenAI, uso heterogêneo de GPU/CPU, implantação distribuída e integrações com LangChain, LlamaIndex, Dify e Chatbox.

SenseVoiceSmall é um modelo de fundação de fala de código aberto para ASR, identificação de idioma, reconhecimento de emoção e detecção de eventos de áudio, abrangendo mandarim, cantonês, inglês, japonês e coreano com inferência não autorregressiva rápida.