ai-router

ai-router는 대형 언어 모델(LLM) API 상호 작용을 관리하기 위한 포괄적인 Python 라이브러리입니다. OpenAI, Anthropic, DeepSeek, Google Gemini 등 다양한 제공자에 대한 요청을 라우팅할 수 있는 통합 인터페이스를 제공합니다. 주요 기능은 다음과 같습니다: - 스마트 라우팅: 라운드 로빈, 가중치 분배, 비용/지연 최적화와 같은 전략을 구현합니다. 자동 재시도, 회로 차단기, 의미 캐싱을 포함하여 신뢰성과 성능을 향상시킵니다. - RAG 파이프라인: 문서 청킹, 임베딩 생성, 하이브리드 검색(BM25 + 벡터), 재정렬 도구를 제공합니다. - 에이전트 프레임워크: ReAct 에이전트, 도구 등록, 다중 에이전트 오케스트레이션(순차, 병렬, 토론) 및 메모리 관리를 지원합니다. - 평가 및 모니터링: 지연 시간 및 처리량 벤치마크 도구와 BLEU, ROUGE, 의미 유사도와 같은 점수 매트릭스를 포함합니다. - API 서버: OpenAI /v1/chat/completions 엔드포인트와 호환되는 FastAPI 기반 서버를 제공하여 제공자 전환을 원활하게 합니다. 이 툴킷은 프로덕션 환경을 위해 설계되었으며, 속도 제한, 포괄적인 메트릭 추적, Docker 또는 CLI를 통한 손쉬운 배포를 지원합니다.