오픈 소스. 새로운 가능성.

'Build a Large Language Model (From Scratch)'의 공식 코드 저장소로, GPT 유사 모델의 단계별 PyTorch 구현을 제공하며 사전 학습과 미세 조정을 노트북과 연습문제로 다룹니다.

PowerInfer는 활성화 지역성을 활용해 자주 쓰이는 "hot" 뉴런은 GPU에, 입력에 따라 달라지는 "cold" 뉴런은 CPU에서 계산하는 로컬 LLM 추론 엔진입니다. 하이브리드 또는 CPU 전용 추론, 서빙, 배치, 혼란도 평가, INT4 양자화, PowerInfer GGUF 모델을 지원합니다.

오픈소스 중국어 LLaMA 및 Alpaca 대규모 언어 모델 프로젝트로, 원본 LLaMA 기반으로 중국어 어휘를 확장하고 추가 사전학습을 수행하며, 명령어 미세조정 모델, LoRA 가중치, 학습 및 양자화 배포 스크립트를 제공하고 로컬 CPU/GPU 실행을 지원합니다.

AI 던전 마스터가 MCP/SQLite 게임 엔진으로 실제 주사위 굴림, 능력치, 주문 슬롯, 전투를 처리하는 텍스트 기반 5e 호환 RPG입니다.

SupaNexus는 단일 API를 통해 다중 LLM 제공업체 접근을 통합하는 오픈 AI 게이트웨이로, OpenAI와 호환되는 인터페이스와 중앙 집중식 모델 관리를 통해 개발을 단순화합니다.

LightRAG는 HKUDS의 경량 그래프 기반 검색 증강 생성 프레임워크로, 이중 수준 검색, 지식 그래프 인덱싱, 멀티모달 파싱, 다양한 스토리지 백엔드 및 WebUI를 갖춘 API 서버를 제공합니다.

GPT Academic(GPT 학술 최적화)은 GPT/GLM 등 대형 언어 모델용 실용적 상호작용 인터페이스를 제공하는 오픈소스 프로젝트로, 논문 읽기, 교정 및 작성을 최적화합니다. 모듈식 플러그인 시스템, 사용자 정의 단축키, 다중 모델 병렬 조회, PDF/LaTeX 번역 요약 기능 등을 지원합니다.

시맨틱 검색, LLM 오케스트레이션, 언어 모델 워크플로우를 위한 올인원 AI 프레임워크.

Fareed Khan이 개발한 PyTorch 기반 LLM 학습 가이드. 트랜스포머 아키텍처를 처음부터 구현하며, 데이터 전처리부터 사전학습, SFT, DPO, PPO, GRPO 등 사후 학습 및 평가까지 전체 파이프라인을 다룹니다.

Haystack은 Python으로 프로덕션 수준의 LLM 애플리케이션, RAG 시스템 및 자율 에이전트를 구축하기 위한 오픈 소스 AI 오케스트레이션 프레임워크입니다.

LlamaFactory는 100개 이상의 대규모 언어 및 멀티모달 모델을 효율적으로 파인튜닝하기 위한 Python 프레임워크로, 제로코드 CLI, Gradio 웹 UI, LoRA/QLoRA 및 다양한 학습 알고리즘을 제공합니다.

Deep Lake은 딥러닝용 스토리지 포맷 기반의 AI 데이터베이스로, 멀티모달 데이터(임베딩, 이미지, 비디오, 오디오, 문서) 저장·검색과 벡터 검색을 결합한다. 서버리스 아키텍처로 클라우드에서 PyTorch/TensorFlow로 직접 스트리밍하며, 버전 관리, LangChain·LlamaIndex·Weights & Biases 통합을 지원한다.

Maxime Labonne이 제작한 대형 언어 모델( LL M) 강좌 소개. LLM 기초 이론부터 Transformer 아키텍처, 사전 훈련, DPO/ORPO 등 선호 정렬, 양자화, 로컬 배포까지 다룬다. Google Colab 노트북과 관련 자료도 제공한다.

Ray는 단일 노트북에서 분산 클러스터까지 AI 및 Python 애플리케이션을 확장할 수 있는 통합 프레임워크입니다.

Flowise는 AI 에이전트를 구축하기 위한 시각적 도구로, 사용자가 그래픽 인터페이스를 통해 에이전트 워크플로우를 설계하고 배포할 수 있게 해줍니다.

Langflow는 AI 기반 에이전트 및 워크플로우를 구축하고 배포하는 시각적 플랫폼입니다. 드래그앤드롭 인터페이스, 대화형 플레이그라운드, 다중 에이전트 지원, API 및 MCP 서버 배포를 제공합니다.

LangExtract는 Google의 Python 라이브러리로, LLM을 활용해 비정형 텍스트에서 구조화된 정보를 추출하고 정확한 소스 위치 기반 grounding과 대화형 HTML 시각화를 제공한다.

DeepTutor는 HKUDS의 오픈소스 평생 맞춤형 튜터링 플랫폼으로, 에이전트 채팅, 다중 RAG 엔진을 갖춘 지식 베이스, 안내 학습, 책 생성, 퀴즈, 다양한 IM 채널 파트너를 결합합니다.