Об этом проекте

Multi-Provider AI API Proxy — это HTTP-прокси-сервер, разработанный в качестве полноценной замены для Anthropic Claude API. Он позволяет пользователям сохранять формат Anthropic API, направляя запросы различным провайдерам, таким как Groq, OpenRouter и Portkey. Ключевые возможности включают: - Маршрутизация по нескольким провайдерам: поддержка маршрутизации через Groq, OpenRouter и Portkey с возможностью выбора провайдера для каждого запроса через параметры запроса или установки глобального значения по умолчанию. - Трансляция API: бесшовное преобразование между форматами Anthropic и OpenAI/Groq, включая поддержку вызова инструментов (tool calling) и сложных блоков контента. - Управление ключами: реализация циклической ротации (round-robin) нескольких API-ключей (до 10 на провайдера) для оптимизации пропускной способности и обхода лимитов. - Интеллектуальное ограничение частоты запросов: обнаружение специфических для провайдеров лимитов (в частности, парсинг сообщений об ошибках Groq) и автоматическое управление восстановлением ключей и временем ожидания. - Наблюдаемость: предоставление эндпоинта статуса в реальном времени для мониторинга состояния ключей, статистики запросов и детального постоянного логирования с различными уровнями логов. - Интеграция: совместимость с клиентами, поддерживающими Anthropic, включая Claude Code, Cursor IDE и Continue, через конфигурацию переменной окружения (ANTHROPIC_BASE_URL).