Sobre o projeto
llm-local é uma camada de abstração leve para Modelos de Linguagem Grandes (LLMs) locais. Ele fornece uma API unificada e uma interface de linha de comando (CLI) para interagir com vários provedores de modelos locais, simplificando o processo de alternância entre diferentes backends.
As principais capacidades incluem:
- API Unificada: Uma interface consistente para gerar texto e respostas em streaming entre diferentes provedores.
- Descoberta de Provedores: Descoberta e listagem automática de provedores locais disponíveis e seus modelos.
- Ferramenta CLI: Um comando `llm` pronto para uso que suporta histórico de conversas de múltiplos turnos e um modo 'think' alternável.
- Provedores Suportados: Suporte nativo para Ollama (via `/api/chat`) e LM Studio (via `/api/v1/chat`), com a capacidade de registrar instâncias de provedores personalizados.
- Integração Flexível: Pode ser instalado como uma ferramenta CLI global ou como uma dependência em projetos TypeScript/JavaScript.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.