semantic-router

Semantic Router는 대규모 언어 모델(LLM)과 AI 에이전트를 위한 초고속 의사결정 계층을 제공하도록 설계된 오픈소스 Python 라이브러리입니다. 도구 사용이나 라우팅 결정을 내리기 위해 느린 LLM 생성을 사용하는 대신, 의미 벡터 공간을 활용하여 사용자 쿼리를 의미에 따라 적절한 라우트나 도구로 라우팅합니다. 주요 기능은 다음과 같습니다: - **Semantic Routing**: 샘플 발화로 라우트를 정의하면 라우터가 임베딩 모델을 사용하여 들어오는 쿼리를 올바른 범주로 빠르게 분류합니다. - **Encoder Support**: Cohere, OpenAI, HuggingFace, FastEmbed 등 다양한 임베딩 제공자와 통합되어 클라우드 및 완전 로컬 실행을 모두 지원합니다. - **Vector Database Integration**: 확장 가능한 인덱싱 및 검색을 위해 Pinecone 및 Qdrant와 임베딩을 동기화하는 기능을 지원합니다. - **Dynamic Routes**: 사용자 쿼리에 따라 매개변수 생성 및 함수 호출을 가능하게 합니다. - **Multi-Modal Routing**: 멀티모달 데이터(예: 이미지)를 처리하고 라우팅할 수 있습니다. - **Threshold Optimization**: 분류 성능을 최적화하기 위해 라우트 임계값을 학습하고 조정할 수 있습니다. - **Integrations**: LangChain 에이전트 및 기타 LLM 프레임워크와 쉽게 통합됩니다. 이 라이브러리는 두 가지 릴리스 라인으로 제공됩니다: 안정적인 0.x 라인과 현재 main 브랜치에서 개발 중인 1.x 호환성 깨지는 재작성 버전입니다.