프로젝트 소개

AISIX AI Gateway는 OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure OpenAI, DeepSeek 및 모든 OpenAI 호환 엔드포인트를 포함한 여러 LLM 제공자 앞에 단일 OpenAI 호환 API를 제공하는 오픈소스 Rust 네이티브 게이트웨이입니다. 플랫폼 팀이 하나의 제어 지점에서 LLM 트래픽을 라우팅, 거버넌스, 보안, 관측하도록 설계되었습니다. 주요 기능은 다음과 같습니다: - **통합 API**: OpenAI 또는 Anthropic 와이어 형식으로 통신하며, 게이트웨이가 대상 제공자로 변환합니다. - **라우팅 및 장애 조치**: 여섯 가지 전략(round_robin, consistent_hash, failover, least_cost, least_latency, least_busy), 우선순위 계층, 재시도 예산, 쿨다운. - **앙상블 모델**: 여러 모델로 요청을 팬아웃하고 심사 모델로 답변을 합성합니다. - **시맨틱 라우팅**: 임베딩을 사용해 프롬프트 의미에 따라 라우팅합니다. - **속도 제한 및 동시성**: RPS/RPM/RPH/RPD, TPM/TPD, 동시성 상한, 분산 제한을 위한 Redis 백엔드. - **가드레일**: 콘텐츠 정책 시행(키워드/정규식, PII 탐지, Presidio, Lakera, OpenAI Moderation, AWS Bedrock Guardrails, Azure AI Content Safety). - **캐싱**: TTL이 있는 정확 일치 응답 캐시, 메모리/Redis 백엔드, Anthropic용 자동 프롬프트 캐싱. - **MCP 게이트웨이**: 게이트웨이가 보유한 자격 증명과 도구 네임스페이스로 /mcp에서 등록된 MCP 서버를 프런트합니다. - **A2A 에이전트 게이트웨이**: /a2a/:agent에서 A2A 에이전트를 프런트합니다. - **인바운드 인증**: 호출자 API 키(SHA-256 해시) 또는 OIDC/JWT 베어러 토큰. - **관측성**: Prometheus 메트릭, 구조화된 액세스 로그, OTLP/GenAI 스팬 내보내기, Datadog 및 Aliyun SLS 내보내기, 객체 스토리지 텔레메트리. - **선언적 구성**: JSON 스키마로 검증되는 하나의 resources.yaml 파일, 원자적 SIGHUP 재로드. 낮은 오버헤드의 단일 정적 바이너리로 실행되며, 핫 구성 재로드를 지원하고, 다중 복제본 클러스터에 etcd를 사용할 수 있습니다. 이 프로젝트는 Apache-2.0 라이선스이며 Apache APISIX 제작자가 만들었습니다. 상용 클라우드 제공(AISIX Cloud)은 예산, 감사, 대시보드가 있는 제어 플레인을 추가합니다.