Об этом проекте

Lemonade — это локальный AI-сервер, предназначенный для запуска моделей ИИ на собственном оборудовании пользователя вместо облачных API. Он распространяется в двух формах: Lemonade Server, который устанавливает службу, предоставляющую стандартные API, совместимые с OpenAI, Anthropic и Ollama, чтобы существующие приложения могли подключаться, и Embeddable Lemonade — портативный бинарный файл, предназначенный для включения в другие приложения для обеспечения мультимодального локального ИИ, адаптирующегося к ПК пользователя. Проект поддерживает генерацию текста, распознавание речи, синтез речи, генерацию аудио, генерацию изображений, генерацию 3D и классификацию текста. Он работает с форматами моделей GGUF, FLM и ONNX и включает каталог моделей, а также Model Manager для просмотра и загрузки моделей. Пользовательские модели GGUF или ONNX можно загружать из Hugging Face или ModelScope. CLI предоставляет такие команды, как `lemonade run` для запуска модели и общения с ней, `lemonade launch claude` для рабочих процессов программирования, `lemonade list` и `lemonade pull` для управления моделями, `lemonade backends` для проверки доступных бэкендов вывода на машине и `lemonade alias` для независимого от окружения именования моделей и переключения при отказе в режиме активный-резервный. Гибридные конфигурации также могут направлять запросы к облачным провайдерам, совместимым с OpenAI, наряду с локальными моделями; это описано как экспериментальное. Вывод обрабатывается несколькими движками с различными требованиями к оборудованию. Для генерации текста они включают llamacpp с системными бэкендами, Metal, CUDA, Vulkan, ROCm и CPU, а также экспериментальные llamacpp-hrx, flm и ryzenai-llm для NPU XDNA2 и экспериментальные vllm и ds4 для AMD Strix Halo. Для распознавания речи используются whispercpp и moonshine; для синтеза речи — kokoro и экспериментальный openmoss; для генерации аудио — экспериментальные thinksound и acestep; для генерации изображений — sd-cpp и экспериментальный thenoise; для генерации 3D — экспериментальный trellis; для классификации текста — экспериментальный onnxruntime. Поддерживаемые операционные системы включают Windows 11, несколько дистрибутивов Linux (Arch, Debian, Fedora, Ubuntu, Snap, Docker) и macOS, с пакетами, такими как .msi, .deb, .rpm, .pkg и образами контейнеров. Интеграция проста для клиентов, совместимых с OpenAI: укажите клиенту базовый URL локального сервера. README перечисляет клиентские библиотеки для Python, C++, Java, C#, Node.js, Go, Ruby, Rust и PHP и показывает пример на Python. Маркетплейс перечисляет совместимые приложения, включая Claude Code, Open WebUI, AnythingLLM, Dify, n8n, OpenHands, GitHub Copilot и другие. Также упоминаются мобильные приложения для iOS и Android. Проект создан сообществом с оптимизациями инженеров AMD для ПК Ryzen AI, Radeon и Strix Halo и спонсируется AMD. Он лицензирован под Apache 2.0 и основан на таких инструментах, как llama.cpp, whisper.cpp, stable-diffusion.cpp, Kokoros, OnnxRuntime GenAI, Hugging Face Hub и ModelScope. В README указано, что программа не передаёт информацию в сетевые системы, если это не запрошено, и что загрузки моделей или поиск в реестре могут обращаться к Hugging Face Hub или ModelScope в зависимости от выбранного источника.