laravel-llm-relay

Laravel LLM Relay는 Laravel 애플리케이션에서 여러 대규모 언어 모델 제공자, 특히 Claude, GPT (OpenAI), Gemini와 상호작용할 수 있는 단일하고 일관된 인터페이스를 제공합니다. 설정 가능한 체인 내에서 재시도하거나 다음 사용 가능한 제공자로 폴백하여 제공자 장애를 자동으로 처리하므로, 특정 서비스가 다운되더라도 AI 기능을 계속 사용할 수 있습니다. 각 응답에는 성공한 제공자, 사용된 총 토큰 수, 밀리초 단위의 지연 시간과 같은 메타데이터가 포함되어 비용 모니터링과 성능 분석이 가능합니다. 이 패키지는 단순 프롬프트, 시스템 지침이 포함된 다회차 대화 및 의존성 주입을 지원합니다. Laravel의 HTTP 클라이언트와 원활하게 통합되어 Http::fake()를 통한 테스트가 가능합니다. 설정은 환경 변수와 선택적으로 게시된 설정 파일을 통해 관리됩니다. API 키가 설정되지 않은 제공자는 건너뛰며, 폴백 없이 특정 제공자만 강제로 사용할 수도 있습니다. 모든 요청(제공자, 토큰, 지연 시간)에 대한 로깅은 Laravel의 로깅 채널을 통해 지원됩니다. 프로덕션 사용을 위해 설계되었으며 제공자의 불안정성, 진화하는 모델 선호도, 비용 투명성과 같은 일반적인 문제점들을 해결합니다. MIT 라이선스로 제공됩니다.