오픈 소스. 새로운 가능성.

Drowse는 대규모 언어 모델의 기계론적 해석 가능성을 위한 로컬 작업대로, 대시보드, Python API, OpenAI/Ollama 호환 서버를 제공하며 활성화 스티어링, 개념 프로브, 매니폴드, SAE, Jacobian 렌즈를 지원합니다.

SparkLang은 .spark 파일을 실행하는 MIT 라이선스 언어 및 런타임으로, 드라이 런 우선 CLI, 바이트코드 덤프, IDE 작업, 플레이북, 모델 랩 작업 및 선택적 라이브 게이트웨이, 음성, 브라우저, CUDA 인터페이스를 제공합니다.

PowerInfer는 활성화 지역성을 활용해 자주 쓰이는 "hot" 뉴런은 GPU에, 입력에 따라 달라지는 "cold" 뉴런은 CPU에서 계산하는 로컬 LLM 추론 엔진입니다. 하이브리드 또는 CPU 전용 추론, 서빙, 배치, 혼란도 평가, INT4 양자화, PowerInfer GGUF 모델을 지원합니다.

vLLM은 대규모 언어 모델(LLM) 추론 및 서빙을 위해 설계된 고처리량 및 메모리 효율적인 라이브러리입니다.

오픈소스 중국어 LLaMA 및 Alpaca 대규모 언어 모델 프로젝트로, 원본 LLaMA 기반으로 중국어 어휘를 확장하고 추가 사전학습을 수행하며, 명령어 미세조정 모델, LoRA 가중치, 학습 및 양자화 배포 스크립트를 제공하고 로컬 CPU/GPU 실행을 지원합니다.

LocalAI는 CPU 전용을 포함한 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오 모델을 실행하는 오픈소스 자체 호스팅 AI 엔진입니다. OpenAI, Anthropic, ElevenLabs 호환 API, 온디맨드 모듈형 백엔드, 다중 사용자 인증, RAG 및 MCP를 갖춘 내장 에이전트를 제공합니다.

Fareed Khan이 개발한 PyTorch 기반 LLM 학습 가이드. 트랜스포머 아키텍처를 처음부터 구현하며, 데이터 전처리부터 사전학습, SFT, DPO, PPO, GRPO 등 사후 학습 및 평가까지 전체 파이프라인을 다룹니다.

Swift Tokenizers는 Hugging Face의 Rust tokenizers 크레이트를 래핑한 고성능 Swift 패키지입니다. Hub 의존성 없이 토큰화에만 집중하며 macOS, iOS, Linux를 지원합니다. 인코딩, 디코딩, 스트리밍 디토큰화, 채팅 템플릿 및 도구 호출 기능을 제공합니다.

UL-SMF는 장기 컨텍스트 트랜스포머 추론을 위한 KV 캐시 압축 프레임워크로, FSQ와 16차원 잠재 매핑을 통해 최대 384배 압축을 주장한다. 핵심 압축 로직은 독점 폐쇄형 바이너리에 의존한다.

Jan은 대규모 언어 모델을 로컬에서 실행하여 오프라인 및 개인적으로 사용할 수 있는 오픈소스 데스크톱 앱으로, 선택적으로 클라우드 제공자 및 OpenAI 호환 로컬 API에 연결할 수 있습니다.

Ollama는 macOS, Windows 및 Linux에서 오픈 소스 대규모 언어 모델을 로컬로 실행, 관리 및 구축할 수 있게 해주는 도구입니다.

RunAnywhere는 휴대폰, 브라우저, 데스크톱, 서버에서 AI 모델을 온디바이스로 실행하기 위한 크로스플랫폼 SDK 모음입니다. 단일 세맨틱 API를 통해 LLM, 비전, 음성, 음성 에이전트, RAG, 임베딩, 이미지 생성을 지원합니다.

HermesMade는 AI 사용자들의 일반적인 고충을 해결하기 위해 설계된 6개의 CLI 도구 모음입니다. 이 도구들은 검열 위험 분석, 모델 품질 모니터링, API 비용 최적화, 로컬 LLM 배포, 코드 검사, 그리고 작업 비용 추정을 다룹니다.

SGLang은 저지연 및 고처리량 추론을 위해 설계된 대규모 언어 모델(LLM) 및 멀티모달 모델용 고성능 서빙 프레임워크입니다.

Lociant는 Android 폰과 Rockchip 보드 같은 에지 기기를 위한 로컬 AI 런타임이다. GGUF/llama.cpp를 통한 로컬 모델 추론을 가능하게 하고, 기기 기능을 MCP 도구로 노출하며, 외부 오케스트레이션을 위한 OpenAI 호환 제어 API를 제공한다.