llms-from-scratchrasbt
নতুন'Build a Large Language Model (From Scratch)' বইয়ের অফিসিয়াল কোড রিপোজিটরি: ধাপে ধাপে PyTorch-এ GPT-সদৃশ মডেল তৈরি, প্রিট্রেনিং ও ফাইনটিউনিং, নোটবুক ও অনুশীলনসহ।
OPEN SOURCE, OPEN TO EVERYONE
ওপেন সোর্স। নতুন সম্ভাবনা।
মানসম্মত ওপেন-সোর্স প্রজেক্ট আবিষ্কার করুন, বেনামে প্রজেক্ট জমা দিন এবং নিজের প্রজেক্ট দাবি করে সম্পাদনা করুন।
✳সম্পাদকের পছন্দ · ভালো ওপেন সোর্স খুঁজুন4109আবিষ্কৃত
কৌতূহল নিয়ে ওপেন সোর্স আবিষ্কার করুন।
THE FIRST COLLECTIONTopic: tokenizer清除
swift-tokenizersDePasqualeOrg
নতুনSwift Tokenizers হলো Hugging Face-এর Rust tokenizers crate-এর একটি উচ্চ-কর্মক্ষমতা Swift র্যাপার, যা শুধু টোকেনাইজেশনে মনোযোগ দেয় এবং Hub-নির্ভরতা ছাড়াই কাজ করে। এটি macOS, iOS ও Linux সমর্থন করে, encoding, decoding, streaming detokenization, chat templates ও tool calling সুবিধা দেয়।