ai-router

ai-router é uma biblioteca Python abrangente para gerenciar interações com APIs de Large Language Model (LLM). Ela fornece uma interface unificada para rotear solicitações entre diversos provedores, como OpenAI, Anthropic, DeepSeek e Google Gemini. Principais capacidades incluem: - Roteamento Inteligente: Implementa estratégias como round-robin, distribuição ponderada e otimização de custo/latência. Inclui tentativas automáticas, circuit breakers e cache semântico para melhorar a confiabilidade e o desempenho. - Pipeline RAG: Oferece ferramentas para fragmentação de documentos, geração de embeddings, recuperação híbrida (BM25 + vetorial) e reranking. - Framework de Agentes: Suporta agentes ReAct, registro de ferramentas, orquestração multiagente (sequencial, paralela, debate) e gerenciamento de memória. - Avaliação e Monitoramento: Inclui ferramentas de benchmark para latência e throughput, além de métricas de pontuação como BLEU, ROUGE e similaridade semântica. - Servidor API: Possui um servidor baseado em FastAPI compatível com o endpoint OpenAI /v1/chat/completions, facilitando a troca transparente de provedores. O kit de ferramentas foi projetado para ambientes de produção, oferecendo limitação de taxa, rastreamento abrangente de métricas e implantação fácil via Docker ou CLI.