Об этом проекте

Этот проект является форком сервиса ai-proxy и предназначен для работы в качестве защищённого прокси для различных провайдеров Large Language Model (LLM). Он предоставляет единую API-точку входа, позволяющую взаимодействовать с множеством AI-сервисов без изменения кода приложения для каждого провайдера. Ключевые возможности: - Единый API-доступ: поддержка таких провайдеров, как OpenAI, Google Gemini, Groq, OpenRouter, Cloudflare, Cohere и Sberbank GigaChat. - Управление запросами: реализация rate limiting (в минуту/час/день), интеллектуальная маршрутизация и структурированная обработка ошибок. - Оптимизации производительности: использование buffer pooling через sync.Pool для экономии памяти, оптимизированное connection pooling для HTTP-клиентов и механизм перезапуска стриминга с экспоненциальной задержкой и джиттером. - Безопасность: аутентификация с помощью proxy access token и безопасное управление конфигурацией через переменные окружения. - Поддержка стриминга: серверные события (SSE) для провайдеров, реализующих потоковый вывод. - Конфигурация: основана на YAML для определения моделей, приоритетов и API-ключей.