needle

Needle — это специализированная архитектура базовой модели, предназначенная для развертывания на миниатюрных устройствах, включая микроконтроллеры, роботов, оборудование для умного дома и мобильные платформы. Модель использует архитектуру «Laddered Simple Attention Network», что позволяет ей эффективно работать при размере всего 8–29 МБ. Она оптимизирована для трех основных задач: вызов инструментов, извлечение структурированных данных и текстовые эмбеддинги. Ключевые особенности: - Вызов инструментов: модель может разбирать запросы на естественном языке для запуска определенных функций с правильными аргументами, возвращая пустые списки вместо предположений для неподдерживаемых запросов. - Структурированное извлечение: преобразует неструктурированный текст в типизированные поля JSON, что полезно для обработки счетов, форм или уведомлений. - Текстовые эмбеддинги: предоставляет векторные представления для локального поиска и задач маршрутизации. - Масштабируемость: архитектура поддерживает «лестницу» глубин (от 2 до 20 слоев), позволяя разработчикам выбирать оптимальный размер модели для конкретных аппаратных ограничений. - Дообучение: поддерживает как локальное дообучение на основе LoRA, так и платформенное полное дообучение модели для повышения производительности на задачах конкретной предметной области. - Развертывание: включает легковесный движок (менее 1 МБ) для различных платформ, включая macOS, Linux и WASI, с поддержкой изолированных сред.