Об этом проекте

RunAnywhere предоставляет восемь SDK (Swift, Kotlin, Flutter, React Native, Web, Electron, Python и CLI), построенных на едином ядре C++. Он позволяет выполнять локальный, офлайн-инференс на разнообразном оборудовании, маршрутизируя вызовы к лучшему доступному движку на каждом устройстве. **Возможности:** - Чат с LLM с потоковой передачей токенов, многоходовой историей и адаптерами LoRA (Llama, Qwen, Gemma, Phi, DeepSeek и др.) - Модели визуального языка (VLM) для понимания изображений и ответов на вопросы по камере - Речь-в-текст (Whisper, Moonshine) и текст-в-речь (Piper, Kokoro, MeloTTS) - Конвейер голосового агента (VAD + STT + LLM + TTS) - Эмбеддинги и RAG с локальным импортом документов и потоковой передачей - Генерация изображений через Stable Diffusion (Core ML) и инпейнтинг (Hexagon NPU) - Структурированный вывод JSON и вызов инструментов с циклами агентов - Парсер действий компьютерного использования (CUA) **Движки инференса:** - QHexRT: среда выполнения RunAnywhere для NPUs Qualcomm Hexagon (v75/v79/v81), запускающая LLM, VLM, речь и TTS напрямую на NPU, включая MoE и 1-битные модели. - MLX: нативный для Apple инференс для LLM, VLM, STT, TTS и эмбеддингов. - llama.cpp: работает везде через Metal (Apple), CUDA (NVIDIA, опционально), WebGPU/WASM (браузер) и CPU (NEON/AVX). - sherpa + ONNX: для речи, VAD и эмбеддингов на всех платформах. - Core ML: для генерации изображений на основе диффузии на iOS/macOS. **Дополнительные функции:** - Режим сервера, совместимый с OpenAI, через Python SDK и CLI, предоставляющий эндпоинты для завершения чата, эмбеддингов, транскрипции аудио/речи и моделей. - Консоль RunAnywhere: управляющая плоскость для развертывания моделей по воздуху и сбора телеметрии с флота устройств. - Connect (LAN): позволяет хосту macOS делиться загруженной моделью с клиентами iOS/Android через доверенную локальную сеть. - API обнаружения возможностей (capabilities()) позволяет приложениям запрашивать, что текущее устройство и установленные движки могут фактически выполнять. Зрелость SDK варьируется: Swift, Kotlin и rcli стабильны; Flutter, React Native и Web находятся в бете; Electron — в предварительном просмотре; а Python — в альфе.