frugal-llm

Frugal LLM은 Go로 작성된 경량 프록시 서버로, OpenAI와 호환되는 통합 API 인터페이스를 제공합니다. 주요 목적은 작업 도메인에 따라 들어오는 프롬프트를 전문 모델 아키텍처로 자동 라우팅하여 API 예산과 응답 품질을 최적화하는 것입니다 (예: 캐주얼 채팅을 고속 엔진으로, 복잡한 추론을 플래그십 모델로 라우팅). 주요 기능은 다음과 같습니다: - 동적 라우팅: 템플릿 기반 LLM 분류 엔진을 사용하여 워크로드를 이상적인 제공자 및 모델에 매칭합니다. - 광범위한 제공자 지원: OpenAI, Google Gemini, Anthropic Claude, DeepSeek, Groq, Together AI, HuggingFace 및 Ollama, LM Studio, vLLM과 같은 로컬 서버와 통합됩니다. - OpenAI 사양 호환성: 코드 리팩토링 없이 표준 OpenAI SDK, LangChain, LlamaIndex, Cursor 및 Cline과 같은 코딩 도우미와 호환됩니다. - 기술적 기능: SSE 스트리밍, 지수 백오프를 사용한 제공자 재시도, 구조화된 콘텐츠를 위한 유연한 페이로드 언마샬링을 지원합니다. - 구성: 환경 변수를 통한 제로-에디트 설정 또는 YAML 파일을 통한 고급 사용자 정의를 지원합니다.