needle

Needle é uma arquitetura de modelo de base especializada, projetada para implantação em dispositivos minúsculos, incluindo microcontroladores, robôs, hardware de casa inteligente e plataformas móveis. O modelo utiliza uma arquitetura 'Laddered Simple Attention Network', permitindo funcionar efetivamente com um footprint de apenas 8-29 MB. É otimizado para três tarefas principais: chamada de ferramentas, extração de dados estruturados e embedding de texto. Os principais recursos incluem: - Chamada de Ferramentas: O modelo pode analisar solicitações em linguagem natural para acionar funções específicas com argumentos corretos, retornando listas vazias em vez de suposições para consultas não suportadas. - Extração Estruturada: Converte texto não estruturado em campos JSON tipados, útil para processar faturas, formulários ou notificações. - Embedding de Texto: Fornece representações vetoriais para tarefas locais de busca e roteamento. - Escalabilidade: A arquitetura suporta uma 'escada' de profundidades (2 a 20 camadas), permitindo que desenvolvedores selecionem o tamanho ideal do modelo para suas restrições específicas de hardware. - Ajuste Fino: Suporta tanto ajuste fino local baseado em LoRA quanto ajuste fino completo do modelo baseado em plataforma para melhorar o desempenho em tarefas específicas de domínio. - Implantação: Inclui um motor leve (menos de 1 MB) para várias plataformas, incluindo macOS, Linux e WASI, com suporte para ambientes air-gapped.