private-gpt

PrivateGPT는 로컬 모델을 기반으로 프라이빗 AI 애플리케이션을 구축하기 위한 오픈소스 API 레이어로 소개됩니다. 이 프로젝트는 자체적으로 모델을 실행하지 않으며, 대신 OPENAI_API_BASE을 통해 OpenAI 호환 추론 서버(예: Ollama, llama.cpp, vLLM)에 연결하고 Claude API를 본뜬 API를 제공합니다. 이 프로젝트는 2023년 문서와 오프라인으로 대화하는 개념 증명으로 인기를 얻었으며, 버전 1.0에서는 더 넓은 범위의 애플리케이션 백엔드로 전면 재구축되었습니다. 주요 기능에는 스트리밍, 비동기 처리, 토큰 계수를 지원하는 표준 메시지 API, 파일 및 아티팩트 수집, 인용을 포함한 검색, 에이전틱 RAG, 웹 검색, 웹 가져오기, 코드 실행 같은 내장 도구, 사용자 정의 도구 및 MCP 커넥터, 데이터베이스와 CSV에 대한 구조화된 접근, 임베딩, 연결된 추론 서버에서의 모델 선택이 포함됩니다. /ui에서 사용할 수 있는 내장 워크벤치 UI는 테스트, 데모, 로컬 파일럿을 위한 것이며 핵심 제품이 아닙니다. 실제 제품은 API입니다. 설치 옵션에는 macOS의 Homebrew, Linux와 Windows의 uv 도구 설치, Docker가 있으며, 전체 퀵스타트 가이드에서 다룹니다. README에는 Claude Code, Claude Desktop/Cowork, Claude for Microsoft 365, OpenCode와의 통합, 그리고 n8n, VS Code, Cline 및 로컬 OpenAI 호환 프로바이더를 대상으로 할 수 있는 기타 클라이언트와의 호환성이 나열되어 있습니다. Ollama, LM Studio, LocalAI, vLLM, llama.cpp 같은 추론 서버와 비교할 때, PrivateGPT는 로컬 모델 추론 위에 있는 레이어로 자리매김합니다. Onyx나 Open WebUI 같은 앱 우선 제품과 비교하면, 자체 호스팅 AI 애플리케이션 구축을 위한 표준화된 로컬 백엔드를 제공하는 API 우선 제품으로 설명됩니다. PrivateGPT는 Zylon이 유지 관리하며, Zylon은 PrivateGPT를 중심으로 별도의 엔터프라이즈 AI 인프라 제품도 제공합니다. 이 프로젝트에는 활발한 커뮤니티가 있으며 GitHub를 통해 기여를 받습니다.