litellm

LiteLLM은 OpenAI, Anthropic, Gemini, Bedrock, Azure 등 다양한 제공업체와 상호작용할 수 있는 단일 인터페이스를 제공하여 여러 대규모 언어 모델(LLM)의 통합을 단순화합니다. 이는 직접적인 라이브러리 통합을 위한 Python SDK로 활용하거나, 조직 내 사용을 위한 중앙 집중식 AI Gateway(프록시 서버)로 배포할 수 있습니다. 주요 기능은 다음과 같습니다: - 통합 API: 100개 이상의 LLM을 위한 단일 인터페이스를 제공하여 제공업체별 SDK의 필요성을 제거합니다. - OpenAI 호환성: 애플리케이션 코드를 다시 작성하지 않고도 LLM 제공업체를 교체할 수 있습니다. - 프로덕션 게이트웨이 기능: 가상 키, 지출 추적, 가드레일, 부하 분산 및 관리자 대시보드 지원을 포함합니다. - A2A 에이전트 지원: LangGraph, Vertex AI Agent Engine, Azure AI Foundry와 같은 제공업체의 에이전트를 호출할 수 있는 기능입니다. - MCP 도구 통합: SDK 또는 Gateway를 통해 Model Context Protocol(MCP) 서버를 모든 LLM에 연결합니다. - 광범위한 엔드포인트 지원: /chat/completions, /embeddings, /images, /audio, /rerank를 포함한 다양한 엔드포인트를 지원합니다.