Sobre o projeto

RunAnywhere fornece oito SDKs (Swift, Kotlin, Flutter, React Native, Web, Electron, Python e um CLI) construídos sobre um único núcleo C++. Ele permite inferência de IA local e offline em diversos hardwares, roteando chamadas para o melhor mecanismo disponível em cada dispositivo. **Capacidades:** - Chat de LLM com streaming de tokens, histórico de várias rodadas e adaptadores LoRA (Llama, Qwen, Gemma, Phi, DeepSeek, etc.) - Modelos de linguagem de visão (VLM) para compreensão de imagens e perguntas e respostas por câmera - Fala para texto (Whisper, Moonshine) e texto para fala (Piper, Kokoro, MeloTTS) - Pipeline de agente de voz (VAD + STT + LLM + TTS) - Embeddings e RAG com ingestão de documentos locais e streaming - Geração de imagens via Stable Diffusion (Core ML) e inpainting (Hexagon NPU) - Saída JSON estruturada e chamada de ferramentas com loops de agente - Analisador de ações de uso de computador (CUA) **Mecanismos de Inferência:** - QHexRT: O runtime da RunAnywhere para NPUs Qualcomm Hexagon (v75/v79/v81), executando LLMs, VLMs, fala e TTS diretamente na NPU, incluindo modelos MoE e 1-bit. - MLX: Inferência nativa da Apple para LLM, VLM, STT, TTS e embeddings. - llama.cpp: Executa em todos os lugares via Metal (Apple), CUDA (NVIDIA, opt-in), WebGPU/WASM (navegador) e CPU (NEON/AVX). - sherpa + ONNX: Para fala, VAD e embeddings em todas as plataformas. - Core ML: Para geração de imagens baseada em difusão no iOS/macOS. **Recursos Adicionais:** - Modo de servidor compatível com OpenAI via SDK Python e CLI, expondo endpoints para conclusões de chat, embeddings, transcrição de áudio/fala e modelos. - Console RunAnywhere: Um plano de controle para implantar modelos over-the-air e coletar telemetria em frotas de dispositivos. - Connect (LAN): Permite que um host macOS compartilhe um modelo carregado com clientes iOS/Android por meio de uma rede local confiável. - Uma API de descoberta de capacidades (capabilities()) permite que os aplicativos consultem o que o dispositivo atual e os mecanismos instalados podem realmente executar. O nível de maturidade dos SDKs varia: Swift, Kotlin e rcli são estáveis; Flutter, React Native e Web estão em beta; Electron está em pré-visualização; e Python está em alfa.