Об этом проекте

llm-local — это легковесный слой абстракции для локальных больших языковых моделей (LLM). Он предоставляет унифицированный API и интерфейс командной строки (CLI) для взаимодействия с различными локальными провайдерами моделей, упрощая процесс переключения между разными бэкендами. Ключевые возможности включают: - Унифицированный API: согласованный интерфейс для генерации текста и потоковой передачи ответов от разных провайдеров. - Обнаружение провайдеров: автоматический поиск и перечисление доступных локальных провайдеров и их моделей. - CLI-инструмент: готовая к использованию команда `llm`, которая поддерживает историю многоходовых диалогов и переключаемый режим «think». - Поддерживаемые провайдеры: встроенная поддержка Ollama (через `/api/chat`) и LM Studio (через `/api/v1/chat`), а также возможность регистрации пользовательских экземпляров провайдеров. - Гибкая интеграция: может быть установлен как глобальный CLI-инструмент или как зависимость в проектах на TypeScript/JavaScript.