atomic-chat

Atomic Chat은 오픈 웨이트 대규모 언어 모델을 자신의 컴퓨터에서 실행하는 것을 목표로 하는 로컬 AI 애플리케이션 겸 추론 엔진이며, 프라이버시와 오프라인 작동을 강조한다. macOS, Windows, Linux용 데스크톱 빌드와 iOS 및 Android 앱으로 제공된다. README에 설명된 핵심 기능: - 로컬 모델 실행: Llama, Gemma, Qwen, Mistral, Phi 계열을 포함해 Hugging Face의 오픈 웨이트 모델을 실행한다. - OpenAI 호환 로컬 API: http://localhost:1337/v1의 서버가 OpenAI SDK를 그대로 대체할 수 있어, 기존 에이전트, CLI, IDE 플러그인은 base URL만 바꾸면 이를 가리킬 수 있다. 기본적으로 127.0.0.1에 바인딩되며 host를 0.0.0.0으로 설정하면 LAN에 노출할 수 있다. - 여러 추론 백엔드: TurboQuant KV-cache 옵션이 있는 llama.cpp 포크, 업스트림 llama.cpp, Apple Silicon 비전-언어 모델용 MLX-VLM. README는 클라이언트가 어떤 백엔드가 활성화되어 있는지 알 필요가 없다고 밝힌다. - 디코딩 및 성능 옵션: Multi-Token Prediction 추측 디코딩, DFlash 블록 확산 디코딩, Flash Attention 토글, 추론 컨텍스트 추적, 자동 컨텍스트 윈도 확장. - 클라우드 모델 지원: OpenAI, Anthropic, Mistral, Groq, MiniMax, Qwen, Moonshot 같은 내장 제공자와 bring-your-own-key, 채팅별 모델 전환. - 도구 및 통합: 외부 에이전트(예: Claude Code, Codex CLI, Cline, OpenCode, Goose, OpenHands, Copilot CLI, Kilo Code, Zed) 원클릭 실행, HTML/CSS/JS용 Artifacts 미리보기 패널, MCP 서버 연결, 시스템 프롬프트가 있는 사용자 지정 어시스턴트, 대화 트리 보기가 있는 프로젝트. README는 또한 Node.js 20+, Yarn, Make, Rust를 사용한 소스 빌드, 플랫폼별 시스템 요구 사항, Linux AppImage 사용법, GitHub 이슈나 Discord를 통한 문제 해결을 문서화한다. README에 인용된 성능 수치(예: 처리량 향상이나 KV-cache 크기 감소)는 프로젝트 자체의 주장이며 여기서 독립적으로 검증된 것은 아니다.