needle

Needle은 마이크로컨트롤러, 로봇, 스마트 홈 하드웨어, 모바일 플랫폼 등 소형 디바이스에 배포하기 위해 설계된 특수 기초 모델 아키텍처입니다. 이 모델은 '계층형 단순 주의 네트워크(Laddered Simple Attention Network)' 아키텍처를 사용하여 불과 8-29MB의 공간에서 효과적으로 작동하도록 최적화되었습니다. 도구 호출, 구조화된 데이터 추출, 텍스트 임베딩 세 가지 주요 작업에 최적화되어 있습니다. 주요 특징은 다음과 같습니다: - 도구 호출: 자연어 요청을 구문 분석하여 올바른 인수로 특정 함수를 트리거하며, 지원되지 않는 쿼리에는 추측 대신 빈 목록을 반환합니다. - 구조화된 추출: 비구조화된 텍스트를 유형화된 JSON 필드로 변환하여 인보이스, 양식 또는 알림 처리에 유용합니다. - 텍스트 임베딩: 로컬 검색 및 라우팅 작업을 위한 벡터 표현을 제공합니다. - 확장성: 아키텍처는 2~20개 레이어의 '계층'을 지원하여 개발자가 특정 하드웨어 제약 조건에 최적화된 모델 크기를 선택할 수 있습니다. - 미세 조정: 로컬 LoRA 기반 미세 조정과 플랫폼 기반 전체 모델 미세 조정을 모두 지원하여 도메인별 작업 성능을 향상시킵니다. - 배포: macOS, Linux, WASI를 포함한 다양한 플랫폼용으로 1MB 미만의 경량 엔진을 제공하며, 에어갭 환경을 지원합니다.