프로젝트 소개

Lemonade는 클라우드 API 대신 사용자 자신의 하드웨어에서 AI 모델을 실행하는 것을 목표로 하는 로컬 AI 서버입니다. 두 가지 형태로 배포됩니다. 하나는 표준 OpenAI, Anthropic, Ollama 호환 API를 노출하는 서비스를 설치하여 기존 앱이 연결할 수 있게 하는 Lemonade Server이고, 다른 하나는 다른 애플리케이션에 번들로 포함되어 사용자의 PC에 적응하는 멀티모달 로컬 AI를 제공하도록 설계된 휴대용 바이너리인 Embeddable Lemonade입니다. 이 프로젝트는 텍스트 생성, 음성-텍스트 변환, 텍스트-음성 변환, 오디오 생성, 이미지 생성, 3D 생성 및 텍스트 분류를 지원합니다. GGUF, FLM 및 ONNX 모델 형식과 함께 작동하며 모델 카탈로그와 모델을 탐색하고 다운로드하기 위한 Model Manager를 포함합니다. 사용자 정의 GGUF 또는 ONNX 모델은 Hugging Face 또는 ModelScope에서 가져올 수 있습니다. CLI는 모델을 실행하고 대화하기 위한 `lemonade run`, 코딩 워크플로를 위한 `lemonade launch claude`, 모델 관리를 위한 `lemonade list` 및 `lemonade pull`, 머신에서 사용 가능한 추론 백엔드를 검사하기 위한 `lemonade backends`, 환경 독립적인 모델 이름 지정 및 액티브-스탠바이 페일오버를 위한 `lemonade alias`와 같은 명령을 제공합니다. 하이브리드 설정은 로컬 모델과 함께 OpenAI 호환 클라우드 제공자로 요청을 라우팅할 수도 있으며, 이는 실험적이라고 설명됩니다. 추론은 서로 다른 하드웨어 요구 사항을 가진 여러 엔진에 의해 처리됩니다. 텍스트 생성의 경우 시스템, Metal, CUDA, Vulkan, ROCm 및 CPU 백엔드를 갖춘 llamacpp와, XDNA2 NPU용 실험적 llamacpp-hrx, flm 및 ryzenai-llm, AMD Strix Halo용 실험적 vllm 및 ds4가 포함됩니다. 음성-텍스트 변환은 whispercpp와 moonshine을 사용하고, 텍스트-음성 변환은 kokoro와 실험적 openmoss를 사용하며, 오디오 생성은 실험적 thinksound와 acestep을 사용하고, 이미지 생성은 sd-cpp와 실험적 thenoise를 사용하며, 3D 생성은 실험적 trellis를 사용하고, 텍스트 분류는 실험적 onnxruntime을 사용합니다. 지원되는 운영 체제에는 Windows 11, 여러 Linux 배포판(Arch, Debian, Fedora, Ubuntu, Snap, Docker) 및 macOS가 포함되며, .msi, .deb, .rpm, .pkg 및 컨테이너 이미지와 같은 패키지가 제공됩니다. OpenAI 호환 클라이언트의 경우 통합이 간단합니다. 클라이언트를 로컬 서버 기본 URL로 지정하면 됩니다. README에는 Python, C++, Java, C#, Node.js, Go, Ruby, Rust 및 PHP용 클라이언트 라이브러리가 나열되어 있으며 Python 예제가 표시되어 있습니다. 마켓플레이스에는 Claude Code, Open WebUI, AnythingLLM, Dify, n8n, OpenHands, GitHub Copilot 등을 포함한 호환 애플리케이션이 나열되어 있습니다. iOS 및 Android용 모바일 앱도 언급되어 있습니다. 이 프로젝트는 커뮤니티가 구축했으며 AMD 엔지니어들이 Ryzen AI, Radeon 및 Strix Halo PC를 위해 최적화했고 AMD가 후원합니다. Apache 2.0 라이선스에 따라 라이선스가 부여되며 llama.cpp, whisper.cpp, stable-diffusion.cpp, Kokoros, OnnxRuntime GenAI, Hugging Face Hub 및 ModelScope와 같은 도구를 기반으로 구축됩니다. README에는 요청하지 않는 한 프로그램이 네트워크 시스템으로 정보를 전송하지 않으며, 선택한 소스에 따라 모델 다운로드 또는 레지스트리 조회가 Hugging Face Hub 또는 ModelScope에 접속할 수 있다고 명시되어 있습니다.