프로젝트 소개

이 프로젝트는 LiteLLM과 LangChain을 사용해 LLM 게이트웨이를 구축하는 방법을 보여주며, 단일 OpenAI 호환 API를 통해 여러 AI 제공업체(OpenAI, Groq 등)에 통합적으로 접근할 수 있도록 합니다. 지능형 모델 라우팅, 자동 장애 조치, 부하 분산, 비용 추적, 캐싱, 관측 가능성, 그리고 PII 정보 redaction과 프롬프트 주입 차단과 같은 입력 측 가드레일을 포함합니다. 구현은 실행 가능한 Jupyter notebook으로 제공되며, 기본 통합 API 호출부터 config.yaml을 사용한 프로덕션 준비형 프록시 서버 설정까지 각 개념을 단계별로 안내합니다. LangChain 체인과 원활하게 통합되며, 오토스케일링 인프라 뒤에 배포하는 것도 지원합니다. 권장 사례로는 Redis 캐싱, 사용자별 rate limit, 관측 가능성 백엔드로의 로깅, 버전 관리된 구성 등이 있습니다. 이 게이트웨이는 제공업체별 SDK를 추상화하여 팀이 코드 변경 없이 모델이나 제공업체를 전환할 수 있도록 하며, 비용, 지연 시간, 보안 관리를 중앙집중화합니다.