llm-local

llm-local는 로컬 대규모 언어 모델(LLM)을 위한 경량 추상화 레이어입니다. 통합 API와 명령줄 인터페이스(CLI)를 제공하여 다양한 로컬 모델 제공자와 상호작용할 수 있게 하며, 서로 다른 백엔드 간의 전환 프로세스를 단순화합니다. 주요 기능은 다음과 같습니다: - 통합 API: 다양한 제공자 전반에서 텍스트 생성 및 응답 스트리밍을 위한 일관된 인터페이스를 제공합니다. - 제공자 검색: 사용 가능한 로컬 제공자와 해당 모델을 자동으로 검색하고 목록화합니다. - CLI 도구: 다회차 대화 기록과 전환 가능한 'think' 모드를 지원하는 즉시 사용 가능한 `llm` 명령어를 제공합니다. - 지원 제공자: Ollama(`/api/chat` 경유) 및 LM Studio(`/api/v1/chat` 경유)를 기본으로 지원하며, 사용자 정의 제공자 인스턴스를 등록할 수 있습니다. - 유연한 통합: 글로벌 CLI 도구로 설치하거나 TypeScript/JavaScript 프로젝트의 의존성으로 추가할 수 있습니다.