ods

ODS(Osmantic Deployment System)는 자체 호스팅 AI 서버 스택으로, 여러 서비스를 수동으로 조립하지 않고 자체 하드웨어에서 프라이빗 AI를 원하는 사람들을 대상으로 합니다. 이 저장소는 현재 V3 사전 릴리스 상태입니다. 공식 V3 출시 전 공개 테스트 및 개선 단계이며, 재현성을 위해 고정된 소스 스냅샷(v3.0.0)을 제공합니다. README는 전체 플릿 검증이 완료되지 않았음을 명시하고, 알려진 제한 사항과 남은 게이트에 대해 릴리스 노트와 승격 기록을 참조하라고 안내합니다. 번들 구성 요소 ODS는 별도로 구성해야 할 구성 요소를 설치하고 연결합니다. 문서화된 항목은 다음과 같습니다. - llama-server를 통한 로컬 모델 추론, 하드웨어 기반 모델 선택 지원. - ChatGPT 스타일 브라우저 채팅 인터페이스인 Open WebUI. - 모델, 서비스, 설정, GPU 상태, 확장 기능을 위한 제어 대시보드 및 대시보드 API. - 로컬, 클라우드, 하이브리드 모드를 지원하는 API 게이트웨이 LiteLLM. - RAG 및 검색 워크플로를 위한 TEI 임베딩. - 음성: 음성-텍스트 변환용 Whisper, 텍스트-음성 변환용 Kokoro. - 에이전트 및 자동화: Portal(자격을 갖춘 macOS/Ubuntu/Debian systemd 호스트에서 제공되는 번들 대화형 어시스턴트), Hermes Agent, 더 이상 사용되지 않는 OpenClaw 에이전트, n8n 워크플로 자동화, APE(Agent Policy Engine), OpenCode, Memory Shepherd. - 지식 및 검색: Qdrant 벡터 데이터베이스, SearXNG 자체 호스팅 검색, Perplexica, 선택적 Brave Search API 통합. - 창작: 노드 기반 이미지 생성을 위한 ComfyUI. - 개인정보 및 운영: Privacy Shield PII 스크러빙 프록시, Token Spy 사용량 모니터링, 선택적 Langfuse 관찰 가능성. 설치 및 플랫폼 설치는 Linux/macOS에서 호스팅 스크립트를 통한 단일 명령, Windows에서는 소스 ZIP을 다운로드하고 Windows 설치 프로그램을 실행하는 PowerShell 블록으로 수행됩니다. Docker가 설치 및 실행 중이어야 하며, Windows는 WSL2 백엔드가 있는 Docker Desktop과 비관리자 PowerShell 세션이 필요합니다. 설치 후 웹 UI는 localhost:3000에서 제공됩니다. 플랫폼별 제거 명령이 제공됩니다. README 기준 지원 플랫폼: Linux(NVIDIA 및 AMD Strix Halo), Windows(NVIDIA 및 AMD), macOS Apple Silicon. SYCL을 통한 Intel Arc Linux는 실험적/Tier C로 표시됩니다. 테스트된 배포판에는 Ubuntu, Debian, Linux Mint, Fedora, Rocky Linux, Arch, Manjaro, CachyOS, openSUSE Tumbleweed가 포함됩니다. macOS는 Apple Silicon이 필요하며 llama-server를 Metal 가속으로 네이티브 실행하고 다른 서비스는 Docker에서 실행합니다. 하드웨어 감지 및 모델 설치 프로그램은 GPU를 감지하고 하드웨어 티어를 할당하며, 메모리 범위에 따라 버전 관리 카탈로그(model-library.json)에서 모델을 선택합니다. 선택 사항은 .env에 LLM_MODEL, GGUF_FILE, MAX_CONTEXT, MODEL_RECOMMENDATION_* 변수로 기록됩니다. MODEL_PROFILE=qwen, gemma4, auto와 같은 프로필은 선택된 계열에 영향을 주며, 티어 선택은 설치 시 재정의할 수 있습니다. README는 NVIDIA, AMD Strix Halo, Apple Silicon, Intel Arc 범위에 대한 예시 카탈로그 선택을 나열하며, 정확한 설치 결과는 다를 수 있고 처리량은 로컬 벤치마크가 필요하다고 명시합니다. 부트스트랩 모드 기본적으로 ODS는 사용자가 빠르게 채팅할 수 있도록 작은 1.5B 모델을 먼저 다운로드한 후, 전체 모델을 백그라운드에서 다운로드하고 핫스왑합니다. 부트스트랩은 --no-bootstrap으로 건너뛸 수 있습니다. 모델 관리 및 CLI ods CLI는 상태 및 헬스 체크, 서비스 목록, 로그, 재시작, 시작/중지, 로컬/클라우드/하이브리드 모드 전환, 모델 티어 교체, 확장 기능 활성화/비활성화, 마스킹된 구성 보기, 프리셋 저장/로드를 다룹니다. 새 모델 로드 실패 시 모델 롤백은 자동으로 수행된다고 설명됩니다. 확장성 모든 서비스는 확장 기능으로 취급됩니다. manifest.yaml과 compose.yaml을 포함한 폴더로, 대시보드, CLI, 헬스 체크, 컴포즈 스택에서 자동으로 발견됩니다. 설치 프로그램 자체는 모듈식으로 설명되며, 라이브러리 모듈, 공유 서비스 레지스트리, 순서화된 단계를 포함합니다. 포지셔닝 README는 ODS를 Ollama/llama.cpp, Open WebUI, n8n, 개인정보 보호 도구를 수동으로 연결하는 것을 피하는 방법으로 설명하며, 주변 서버 스택, 설치 프로그램, 제어 플레인을 추가하여 해당 프로젝트와 비교합니다. 로컬 우선 운영을 강조하고 선택적 클라우드 또는 하이브리드 API 모드를 지원하며, 사용자가 선택하지 않는 한 프롬프트와 데이터가 머신에 유지된다고 명시합니다.