needle

Needle es una arquitectura de modelo fundacional especializada diseñada para su implementación en dispositivos pequeños, incluidos microcontroladores, robots, hardware para hogares inteligentes y plataformas móviles. El modelo utiliza una arquitectura de 'Red de Atención Simple Escalonada', lo que le permite funcionar de manera efectiva con un tamaño de solo 8-29 MB. Está optimizado para tres tareas principales: invocación de herramientas, extracción de datos estructurados y embedding de texto. Las características clave incluyen: - Invocación de herramientas: El modelo puede analizar solicitudes en lenguaje natural para activar funciones específicas con los argumentos correctos, devolviendo listas vacías en lugar de conjeturas para consultas no compatibles. - Extracción estructurada: Convierte texto no estructurado en campos JSON tipados, útil para procesar facturas, formularios o notificaciones. - Embedding de texto: Proporciona representaciones vectoriales para tareas de búsqueda local y enrutamiento. - Escalabilidad: La arquitectura admite una 'escalera' de profundidades (de 2 a 20 capas), lo que permite a los desarrolladores seleccionar el tamaño de modelo óptimo para sus restricciones de hardware específicas. - Ajuste fino: Admite tanto el ajuste fino local basado en LoRA como el ajuste fino completo del modelo basado en plataforma para mejorar el rendimiento en tareas específicas del dominio. - Implementación: Incluye un motor ligero (menos de 1 MB) para varias plataformas, incluidas macOS, Linux y WASI, con soporte para entornos aislados.