SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых (LLM) и мультимодальных моделей, разработанный для обеспечения низкой задержки и высокой пропускной способности при выводе.
OPEN SOURCE, OPEN TO EVERYONE
Открытый код. Новые возможности.
Находите качественные проекты с открытым исходным кодом, отправляйте проекты анонимно, заявляйте права на свои проекты и редактируйте их.
✳Выбор редакции · Находите хороший open source4109найдено
Немного любопытства. Мир открытого кода.
THE FIRST COLLECTIONTopic: attention清除
sglangsgl-project
НОВОЕНОВОЕ
Коллекция простых PyTorch-реализаций нейросетей и статей по глубокому обучению с документированными пояснениями: трансформеры, GAN, диффузионные модели, RL, оптимизаторы и др.
planckgptnguyenphuminh
НОВОЕPlanckGPT — образовательный проект для обучения GPT-модели (~540M параметров) с нуля на потребительском железе. Предобучение на 2 млрд токенов Fineweb-edu (~28 часов на ноутбуке), опциональный чат-финтюнинг с Smol-smoltalk.