오픈 소스. 새로운 가능성.

PowerInfer는 활성화 지역성을 활용해 자주 쓰이는 "hot" 뉴런은 GPU에, 입력에 따라 달라지는 "cold" 뉴런은 CPU에서 계산하는 로컬 LLM 추론 엔진입니다. 하이브리드 또는 CPU 전용 추론, 서빙, 배치, 혼란도 평가, INT4 양자화, PowerInfer GGUF 모델을 지원합니다.

YuE2는 기호적 계획과 오디오 합성을 통합한 오픈 음악 생성 모델로, 가사와 스타일 프롬프트를 편집 가능한 멜로디·코드 악보로 만든 뒤 보컬과 반주가 포함된 완곡을 렌더링한다. 제로샷 커버와 에이전트 기반 보 편집도 지원한다.

vLLM은 대규모 언어 모델(LLM) 추론 및 서빙을 위해 설계된 고처리량 및 메모리 효율적인 라이브러리입니다.

Repomix은 전체 저장소를 하나의 AI 친화적인 파일(XML, Markdown, JSON, 또는 일반 텍스트)로 압축하여 Claude, ChatGPT, Gemini와 같은 LLM에 코드베이스를 공급합니다. 토큰 카운팅, 보안 검사, 코드 압축, 원격 저장소 지원을 제공합니다.

오픈소스 중국어 LLaMA 및 Alpaca 대규모 언어 모델 프로젝트로, 원본 LLaMA 기반으로 중국어 어휘를 확장하고 추가 사전학습을 수행하며, 명령어 미세조정 모델, LoRA 가중치, 학습 및 양자화 배포 스크립트를 제공하고 로컬 CPU/GPU 실행을 지원합니다.

Unsloth는 Windows, macOS, Linux에서 대규모 언어 모델(LLM) 및 확산 모델을 로컬로 실행하고 학습시킬 수 있는 데스크톱 애플리케이션이자 프레임워크입니다.

LocalAI는 CPU 전용을 포함한 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오 모델을 실행하는 오픈소스 자체 호스팅 AI 엔진입니다. OpenAI, Anthropic, ElevenLabs 호환 API, 온디맨드 모듈형 백엔드, 다중 사용자 인증, RAG 및 MCP를 갖춘 내장 에이전트를 제공합니다.

Oumi는 데이터 준비, 학습 및 미세 조정(SFT, LoRA, QLoRA, GRPO), 평가, LLM 판정자를 통한 데이터 합성, vLLM/SGLang 배포까지 파운데이션 모델의 전체 수명주기를 지원하는 오픈소스 플랫폼입니다. CLI와 클라우드 작업 실행 기능을 제공합니다.

UL-SMF는 장기 컨텍스트 트랜스포머 추론을 위한 KV 캐시 압축 프레임워크로, FSQ와 16차원 잠재 매핑을 통해 최대 384배 압축을 주장한다. 핵심 압축 로직은 독점 폐쇄형 바이너리에 의존한다.

LlamaFactory는 100개 이상의 대규모 언어 및 멀티모달 모델을 효율적으로 파인튜닝하기 위한 Python 프레임워크로, 제로코드 CLI, Gradio 웹 UI, LoRA/QLoRA 및 다양한 학습 알고리즘을 제공합니다.

AstrBot는 QQ, Telegram, Slack, Feishu 등 주요 인스턴스 메시징 앱과 LLM 및 에이전트 프레임워크를 연결하는 오픈소스 통합 에이전트 챗봇 플랫폼으로, 플러그인 확장, WebUI 및 사전 실행 환경을 제공합니다.

Langchain-Chatchat은 Langchain과 ChatGLM, Qwen, Llama 등 대규모 언어 모델을 기반으로 한 오픈소스 오프라인 RAG 및 에이전트 애플리케이션으로, 로컬 지식 기반 질의응답, 다양한 추론 프레임워크 연동, WebUI 및 API 서비스를 지원합니다.

Ollama는 macOS, Windows 및 Linux에서 오픈 소스 대규모 언어 모델을 로컬로 실행, 관리 및 구축할 수 있게 해주는 도구입니다.

AI 기반 명령줄 생산성 도구로, 셸 명령, 코드 스니펫, 문서 생성을 지원합니다. 채팅/REPL 모드, 사용자 정의 역할, 함수 호출을 지원하며, Linux, macOS, Windows와 호환됩니다.

SGLang은 저지연 및 고처리량 추론을 위해 설계된 대규모 언어 모델(LLM) 및 멀티모달 모델용 고성능 서빙 프레임워크입니다.

PocketRisu는 RisuAI에서 포크된 자체 호스팅 AI 역할플레이 채팅 플랫폼으로, PC, 태블릿, 스마트폰에서 웹 브라우저를 통해 접근 가능한 개인 서버를 실행할 수 있습니다.

Aider는 개발자가 LLM과 협업하여 새로운 프로젝트를 구축하거나 기존 코드베이스를 수정할 수 있도록 지원하는 터미널 기반 AI 페어 프로그래밍 도구입니다.