runanywhere-sdks

RunAnywhere proporciona ocho SDKs (Swift, Kotlin, Flutter, React Native, Web, Electron, Python y CLI) basados en un núcleo de C++. Permite inferencia de IA local y sin conexión en diversos hardware, redirigiendo las llamadas al motor más adecuado en cada dispositivo. - Chat de LLM con transmisión de tokens, historial de múltiples turnos y adaptadores LoRA (Llama, Qwen, Gemma, Phi, DeepSeek, etc.) - Modelos de lenguaje visual (VLM) para comprensión de imágenes y preguntas/responses de cámaras - Reconocimiento de voz (Whisper, Moonshine) y síntesis de voz (Piper, Kokoro, MeloTTS) - Pipeline de agente de voz (VAD + STT + LLM + TTS) - Embeddings y RAG con ingesta de documentos locales y transmisión - Generación de imágenes mediante Stable Diffusion (Core ML) e inpainting (Hexagon NPU) - Salida JSON estructurada y llamadas a herramientas con bucles de agentes - Analizador de acciones de uso informático (CUA) - QHexRT: Entorno de ejecución de RunAnywhere para NPUs Qualcomm Hexagon (v75/v79/v81), ejecutando LLM, VLM, voz y TTS directamente en el NPU, incluyendo modelos MoE y de 1 bit. - MLX: Inferencia nativa de Apple para LLM, VLM, STT, TTS y embeddings. - llama.cpp: Funciona en cualquier lugar mediante Metal (Apple), CUDA (NVIDIA, opt-in), WebGPU/WASM (navegador) y CPU (NEON/AVX). - sherpa + ONNX: Para voz, VAD y embeddings en todas las plataformas. - Core ML: Para generación de imágenes basada en difusión en iOS/macOS. - Modo de servidor compatible con OpenAI mediante SDK de Python y CLI, expone puntos finales para chat completions, embeddings, transcripción de audio/voz y modelos. - RunAnywhere Console: Plataforma de control para desplegar modelos por aire y recopilar telemetría en flotas de dispositivos. - Connect (LAN): Permite a un host macOS compartir un modelo cargado con clientes iOS/Android en una red local confiable. - API de descubrimiento de capacidades (capabilities()) permite a las aplicaciones consultar qué pueden ejecutar dispositivos y motores instalados. La madurez de los SDK varía: Swift, Kotlin y rcli son estables; Flutter, React Native y Web están en beta; Electron está en preview; y Python está en alpha.