llms-from-scratchrasbt
신규'Build a Large Language Model (From Scratch)'의 공식 코드 저장소로, GPT 유사 모델의 단계별 PyTorch 구현을 제공하며 사전 학습과 미세 조정을 노트북과 연습문제로 다룹니다.
OPEN SOURCE, OPEN TO EVERYONE
오픈 소스. 새로운 가능성.
우수한 오픈 소스 프로젝트를 발견하고, 익명으로 프로젝트를 제출하며, 내 프로젝트를 신청해 편집하세요.
✳편집자 선정 · 좋은 오픈 소스 발견4102발견됨
호기심으로 오픈 소스의 세계를 발견하세요.
THE FIRST COLLECTIONTopic: pretraining清除
planckgptnguyenphuminh
신규소비자용 노트북 하드웨어에서 처음부터 학습하도록 설계된 소형 GPT 언어 모델(약 5억 4천만 파라미터)로, Fineweb-edu 사전 학습 및 채팅 파인튜닝 기능을 제공합니다.