오픈 소스. 새로운 가능성.

텍스트, 음성 인식(STT) 및 음성 합성(TTS)의 오프라인 추론을 제공하는 Unreal Engine 5용 로컬 멀티모달 LLM 플러그인입니다.

Jano는 단일 GPU에서 여러 로컬 LLM을 실행하는 사용자를 위한 경량 OpenAI 호환 HTTP 라우터로, 군거 배치 방식을 통해 모델 전환 오버헤드를 최소화합니다.

Lexos는 Go 게이트웨이, Python 워커, Redis 큐, 자체 호스팅 모델을 결합한 이벤트 기반 AI 문서 처리 엔진으로, 오프라인 RAG, 요약, 음성 전사를 지원합니다.

ELI는 클라우드 의존 없이 사용자 하드웨어에서 완전히 실행되는 엄격히 로컬 및 프라이버시 중심 AI 어시스턴트입니다. 음성, 비전, 메모리 기능을 포함해 컴퓨터 제어, 미디어 재생, 문서 처리, 코딩, 작업 자동화 등 17개 영역의 227가지 기능을 제공합니다. 기본적으로 오프라인으로 작동하며, 로컬 GGUF 모델과 모델 무관성을 지원하고, 선택적 GPU 가속 및 원격 LAN 접근용 웹 대시보드를 제공합니다.

vtmate는 터미널 기반 음성 AI 툴킷으로, 초저지연, 41개 언어 지원, TTS/STT 통합을 특징으로 합니다. 실시간 음성 대화, 토론, 음성 복제, 세션 내보내기, 글로벌 단축키를 통한 백그라운드 데몬 모드를 제공하여 원활한 AI 상호작용을 지원합니다.

MoziAI-35B-V3.8은 로컬 배포 가능한 오픈소스 멀티모달 LLM으로, 35B MoE 구조를 MoziSmartBit 양자화로 약 15.9GB로 압축했으며 256K 컨텍스트, 비전, 도구 호출, 금융 특화 추론 프레임워크를 제공합니다.

Mimora는 영어와 스페인어 학습자를 위한 무료, 완전 로컬 발음 트레이너입니다. 온디바이스 TTS, 음성 인식, 그리고 로컬 LLM을 사용하여 문장을 생성하고, 단어 수준의 피드백과 함께 사용자의 시도를 점수화합니다. 클라우드나 API 키가 필요하지 않습니다.

Xinference는 언어, 음성, 멀티모달 모델을 제공하는 통합 추론 라이브러리입니다. OpenAI 호환 RESTful API, 이기종 GPU/CPU 활용, 분산 배포를 지원하며 LangChain, LlamaIndex, Dify, Chatbox와 통합됩니다.

SenseVoiceSmall은 ASR, 언어 식별, 감정 인식, 오디오 이벤트 감지를 지원하는 오픈소스 음성 파운데이션 모델로, 중국어, 광둥어, 영어, 일본어, 한국어를 지원하며 빠른 비자기회귀 추론을 제공합니다.