needle

Needle 是一种专门设计用于在微型设备（包括微控制器、机器人、智能家居硬件和移动平台）上部署的基础模型架构。该模型采用“阶梯式简单注意力网络”架构，使其能够在仅 8-29 MB 的占用空间内高效运行。它针对三个主要任务进行了优化：工具调用、结构化数据提取和文本嵌入。 关键特性包括： - 工具调用：模型可以解析自然语言请求，以触发具有正确参数的特定功能，对于不支持的查询返回空列表而非猜测。 - 结构化提取：将非结构化文本转换为类型化的 JSON 字段，适用于处理发票、表单或通知。 - 文本嵌入：为本地搜索和路由任务提供向量表示。 - 可扩展性：该架构支持“阶梯”深度（2 至 20 层），允许开发者根据其特定硬件约束选择最佳模型大小。 - 微调：支持基于 LoRA 的本地微调和基于平台的完整模型微调，以提高领域特定任务的性能。 - 部署：包括一个轻量级引擎（小于 1 MB），适用于多种平台，包括 macOS、Linux 和 WASI，并支持隔离环境。