Об этом проекте
Этот проект представляет собой прокси-сервер, который позволяет взаимодействовать с моделями GitHub Models API, обеспечивая полную совместимость со стандартным OpenAI API. Он предоставляет доступ к десяткам моделей от различных провайдеров (включая OpenAI, Meta, Microsoft, Mistral, DeepSeek и xAI).
### Ключевые особенности:
- **Множество интерфейсов**: Поддержка стандартного OpenAI API, расширенного JSON API, упрощенного Chat API и интерактивного Web UI для тестирования.
- **Мониторинг и аналитика**: Встроенный эндпоинт в формате Prometheus для отслеживания HTTP-запросов, ошибок, использования памяти и производительности. Отдельный веб-интерфейс мониторинга доступен по адресу `/monitor`.
- **Контроль нагрузки**: Механизмы ограничения частоты запросов (rate limiting) и управление параллелизмом с очередью ожидания для обеспечения стабильности.
- **Вспомогательные инструменты**:
- `watchdog.sh` для автоматического восстановления сервера.
- Скрипты для бенчмаркинга, тестирования моделей и генерации примеров кода.
- Функция TTS (украиноязычная озвучка) с поддержкой стриминга.
- **Интеллектуальные функции**: Автоматическая проверка лимитов контекста и система рекомендаций моделей в зависимости от задачи (скорость, качество, объем текста).
### Технический стек:
- Node.js 18+
- Интеграция с GitHub Models API
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.