busbar

Busbar는 범용 리버스 프록시가 아니라 AI 시스템을 위한 고객 운영형 집행 경계로 작동합니다. AI 애플리케이션과 에이전트, 그리고 LLM 제공자, MCP 도구, A2A 에이전트를 포함한 다운스트림 목적지 사이의 요청 경로에 위치하여 운영자가 모델 호출, 도구 사용, 에이전트 위임을 검증, 통제, 라우팅, 기록한 후 요청이 승인된 목적지에 도달하도록 합니다. 이 프로젝트는 완전 자체 호스팅 방식으로, 관리형 호스팅 서비스나 필수 가입, 외부로의 전화 홈 동작이 없으며 모든 제공자 자격 증명은 집행 경계인 운영자 자체 인프라 내에 유지됩니다. 인그레스와 이그레스 양쪽에서 6개의 LLM 와이어 프로토콜(OpenAI, OpenAI Responses, Anthropic, Gemini, Cohere, Bedrock Converse)을 일급으로 지원하여 가능한 모든 36개의 인그레스-업스트림 프로토콜 조합을 포괄합니다. 동일 프로토콜 경로는 원본 요청 바이트를 그대로 전달하여 직접 제공자 호출과 바이트 단위 동등성을 제공하며, 교차 프로토콜 경로는 대상 제공자의 네이티브 형식에 맞게 요청 필드를 변환합니다. 클라이언트 통합은 기존 네이티브 SDK 워크플로를 변경할 필요 없이 기본 URL과 API 키를 Busbar 인스턴스를 가리키도록 변경하기만 하면 됩니다. 배포는 최소한의 운영 부담을 위해 설계되었습니다. Busbar는 별도의 인터프리터, 데이터베이스, 사이드카가 필요 없는 단일 정적 Rust 바이너리 또는 작은 압축 컨테이너 이미지로 배포됩니다. 구성은 단일 YAML 파일에 정의되며, 네트워크 접근이나 실행 중인 서버 없이 작동하는 내장 구성 검증 명령이 있어 CI 파이프라인에 포함하기 적합합니다. Kubernetes 배포를 위한 공식 Helm 차트가 제공되며, 비루트 런타임, 읽기 전용 루트 파일시스템, 불필요한 Linux 기능 제거 등 강화된 보안 기본값을 갖춥니다. 핵심 운영 기능에는 레인별 동시성 제한이 있는 가중 모델 풀, 장애 귀속 회로 차단기, 첫 응답 바이트가 클라이언트에 도달하기 전에 제공자를 전환하는 인플라이트 페일오버(스트리밍 요청에도 적용)가 포함됩니다. 내장 거버넌스 제어에는 가상 API 키, 그룹 수준 예산 및 지출 추적, 네이티브 TLS 및 mTLS 지원, Prometheus 및 OTLP 텔레메트리, 요청별 감사 웹훅이 포함됩니다. 프로젝트의 더 넓은 실행 경계 모델은 동일한 집행 패턴을 MCP 도구 거버넌스(호출자 권한 부여, 승인된 스키마, 예산 집행, 드리프트 격리)와 A2A 에이전트 신뢰(검증, 피닝, 이그레스 제어, 대상 바인딩 자격 증명)로 확장합니다. 이 프로젝트는 자체 구현에 대한 벤치마크 측정값을 공개하며, 여기에는 p50 추가 지연 73마이크로초, 실패 없이 초당 67,837건의 지속 요청, 유휴 상주 메모리 7.3MiB, 압축 컨테이너 이미지 5.74MiB가 포함되며, 다른 일반적인 AI 게이트웨이 및 범용 API 게이트웨이 도구와의 공개 비교도 제공합니다. 이 프로젝트는 Apache 2.0 라이선스로 배포되며, 데이터 플레인 HTTP 표면과 주요 버전 전반에 걸친 지원 와이어 프로토콜 계약에 대해 SemVer 안정 계약을 제공합니다.