magnitude

Magnitude는 Apache-2.0 라이선스의 로컬 추론 엔진으로, 오픈 가중치 모델을 실행하고 에이전트 애플리케이션에 연결하기 위한 도구입니다. macOS, Windows, Linux용 데스크톱 앱으로 제공되며, 앱에는 별도 설치 없이 magnitude CLI가 포함되어 있습니다. 사용자는 권장 모델을 발견하고 다운로드한 후, Connections 화면을 통해 지원되는 에이전트를 연결할 수 있습니다. 이 프로젝트의 주요 기술적 접근 방식은 광범위한 하드웨어 클래스를 위해 구축된 커널에만 의존하지 않고, 모델을 실행하기 전에 실제 기기에서 컴퓨트 커널을 컴파일하고 튜닝하는 것입니다. 또한 선택된 인기 오픈 가중치 모델 제품군을 위한 수작업 최적화 커널도 포함합니다. README는 llama.cpp 대비 Metal에서 prefill 9% 빠르고 decode 92% 빠르며, CUDA에서 prefill 23% 빠르고 decode 19% 빠른 벤치마크 결과를 보고하며, 전반적으로 최대 2배 빠르다고 요약합니다. 기타 명시된 기능으로는 에이전트당 메모리 사용량 감소, 에이전트 중지 시 메모리 해제, 동시 세션을 위한 공유 접두사 캐시가 있습니다. 나열된 원클릭 통합에는 Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline이 포함됩니다. 다른 소프트웨어는 OpenAI 호환 API를 사용할 수 있습니다. Magnitude는 Apple Silicon, NVIDIA GPU, AMD GPU, CPU 전용 시스템을 지원합니다. 문서에 따르면 프롬프트, 파일, 모델은 로컬 머신에 남아 있으며, 모델 다운로드 후에는 인터넷 연결이 필요하지 않습니다. 전체 지원 모델 목록은 프로젝트 웹사이트에서 유지 관리됩니다.