textgen

TextGen은 대규모 언어 모델(LLM)을 로컬에서 실행하기 위한 오픈 소스 데스크톱 애플리케이션입니다. 이 프로젝트는 외부 서비스로 데이터를 전송하지 않으면서 ChatGPT와 유사한 인터페이스를 원하는 프라이버시 중시 사용자를 위해 설계되었으며, 100% 오프라인으로 작동하고 원격 분석, 외부 리소스 또는 원격 업데이트 요청이 전혀 없다고 명시하고 있습니다. 시작은 간단합니다. Linux, Windows 및 macOS용 포터블 빌드가 릴리스로 공개되며, CUDA, Vulkan, ROCm 및 CPU 전용 변형이 포함되고 모든 의존성이 내장되어 있습니다. 압축을 풀고 실행하면 창이 열립니다. Hugging Face의 GGUF 모델을 user_data/models 폴더에 넣으면 자동으로 감지됩니다. 추가 백엔드, 학습, 이미지 생성 또는 확장 기능이 필요한 사용자를 위한 전체 설치 경로도 문서화되어 있으며, Miniforge/Conda 또는 원클릭 시작 스크립트를 사용하고 약 10GB의 디스크 공간을 필요로 합니다. 핵심 기능은 다음과 같습니다: - 채팅 및 생성: 지시 따르기를 위한 instruct 모드, 커스텀 캐릭터를 위한 chat 및 chat-instruct 모드 지원, Jinja2 템플릿을 통한 프롬프트 형식화. 자유 형식 생성을 위한 노트북 탭 지원. - 멀티모달 입력: 시각적 이해를 위해 메시지에 이미지를 첨부할 수 있으며, 토론을 위해 텍스트 파일, PDF 및 .docx 문서를 업로드할 수 있습니다. - 대화 관리: 메시지 편집, 메시지 버전 간 탐색, 대화 분기 처리. - 다중 백엔드: llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3 및 TensorRT-LLM 지원, 재시작 없이 백엔드 및 모델 전환 가능. - API 호환성: 도구 호출 지원을 포함한 OpenAI/Anthropic 호환 Chat, Completions 및 Messages 엔드포인트, 해당 API의 로컬 대체제로 위치함. - 도구 호출: 모델이 웹 검색, 페이지 가져오기, 수학 등 커스텀 함수를 호출할 수 있으며, 각 도구는 단일 Python 파일이고 MCP 서버를 지원합니다. - 학습: 재개 가능한 실행을 통해 다중 턴 채팅 또는 원시 텍스트 데이터셋에서 LoRA를 미세 조정합니다. - 이미지 생성: 4비트/8비트 양자화 및 이미지 메타데이터를 저장하는 영구 갤러리가 있는 diffusers 모델 전용 탭. - 인터페이스: 다크/라이트 테마, 코드 구문 강조 표시, LaTeX 렌더링, TTS, 음성 입력 및 번역을 포함한 내장 또는 커뮤니티 확장 기능. 이 프로젝트는 모델 로더, 컨텍스트 및 KV 캐시 옵션, 추측 디코딩, GPU 레이어 오프로딩, 텐서 분할, 양자화, 샘플링 매개변수 및 서버/API 구성을 포괄하는 광범위한 명령줄 플래그 세트를 노출합니다. NVIDIA, AMD, Intel 및 CPU 전용 설정을 위한 Docker Compose 파일이 제공됩니다. TextGen은 호스팅된 서비스라기보다 로컬 모델 런타임 및 채팅 프런트엔드로 이해하는 것이 가장 좋습니다. 그 주요 가치는 데스크톱 UI, OpenAI 호환 API 및 모델 관리를 하나의 오프라인 패키지로 결합하여 데이터를 자체 하드웨어에 유지하면서 로컬 LLM을 실험하거나 배포하려는 사용자에게 적합하다는 점입니다.