Об этом проекте

Frugal LLM — это легковесный прокси-сервер, написанный на Go, предоставляющий унифицированный API-интерфейс, совместимый с OpenAI. Его основная цель — оптимизировать бюджет API и качество ответов за счет автоматической маршрутизации входящих запросов на специализированные архитектуры моделей в зависимости от области задачи (например, маршрутизация неформального общения на высокоскоростные движки, а сложных рассуждений — на флагманские модели). Ключевые возможности: - Динамическая маршрутизация: Использует шаблонный движок классификатора LLM для сопоставления рабочих нагрузок с оптимальным провайдером и моделью. - Поддержка множества провайдеров: Интеграция с OpenAI, Google Gemini, Anthropic Claude, DeepSeek, Groq, Together AI, HuggingFace и локальными серверами, такими как Ollama, LM Studio и vLLM. - Совместимость со спецификацией OpenAI: Работает со стандартными SDK OpenAI, LangChain, LlamaIndex и инструментами для кодирования, такими как Cursor и Cline, без рефакторинга кода. - Технические функции: Поддержка потоковой передачи SSE, повторных попыток подключения к провайдерам с экспоненциальной задержкой и гибкой распаковкой полезной нагрузки для структурированного контента. - Конфигурация: Поддержка настройки без изменений через переменные окружения или расширенной кастомизации с помощью YAML-файлов.