llms-from-scratchrasbt
新收录《从零构建大语言模型》官方代码仓库:以 PyTorch 逐步实现类 GPT 模型,涵盖预训练与微调,附 notebook 与练习。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTION《从零构建大语言模型》官方代码仓库:以 PyTorch 逐步实现类 GPT 模型,涵盖预训练与微调,附 notebook 与练习。
一个约5.4亿参数的小型GPT语言模型,设计用于在消费级笔记本电脑硬件上从零训练,支持在Fineweb-edu上预训练及聊天微调。