unified-llm-engine

Unified LLM Engine은 OpenAI, Anthropic, Gemini, Azure, AWS Bedrock, Ollama를 포함한 여러 대규모 언어 모델(LLM) 제공업체와의 상호작용을 추상화하는 Python 라이브러리입니다. 개발자가 코드를 변경하지 않고도 제공업체를 전환하거나 결합할 수 있도록 통합 인터페이스를 제공합니다. 주요 기능으로는 하나라도 실패할 때 자동으로 제공업체를 폴백하는 기능, 실시간 비용 및 토큰 사용량 추적, 중복 호출 감소를 위한 지능형 응답 캐싱, 실시간 출력을 위한 스트리밍 지원, 고성능을 위한 비동기 우선(async-first) 설계 등이 있습니다. 이 엔진은 모델 가용성, 부하, 구성된 선호도에 따라 요청을 지능적으로 라우팅합니다. 사용자는 환경 변수를 사용하여 API 키로 엔진을 초기화할 수 있으며, 필요시 캐시를 활성화하거나 기본 모델을 설정할 수 있습니다. 비용 요약은 모델별 및 세션 간 집계되어 제공됩니다. 아키텍처는 핵심 라우팅 로직을 개별 제공업체 구현과 분리하여 확장성을 높였습니다. 예제와 테스트가 포함되었으며, MIT 라이선스를 따릅니다. LLM 통합에서 복원력, 비용 제어, 다중 제공업체 유연성이 필요한 애플리케이션에 이상적입니다.