sglangsgl-project
신규SGLang은 저지연 및 고처리량 추론을 위해 설계된 대규모 언어 모델(LLM) 및 멀티모달 모델용 고성능 서빙 프레임워크입니다.
OPEN SOURCE, OPEN TO EVERYONE
오픈 소스. 새로운 가능성.
우수한 오픈 소스 프로젝트를 발견하고, 익명으로 프로젝트를 제출하며, 내 프로젝트를 신청해 편집하세요.
✳편집자 선정 · 좋은 오픈 소스 발견4101발견됨
호기심으로 오픈 소스의 세계를 발견하세요.
THE FIRST COLLECTIONTopic: moe清除
moziai-35b-a3b-moe-mtpchenyumo166
신규MoziAI-35B-V3.8은 로컬 배포 가능한 오픈소스 멀티모달 LLM으로, 35B MoE 구조를 MoziSmartBit 양자화로 약 15.9GB로 압축했으며 256K 컨텍스트, 비전, 도구 호출, 금융 특화 추론 프레임워크를 제공합니다.
vllmvllm-project
신규vLLM은 대규모 언어 모델(LLM) 추론 및 서빙을 위해 설계된 고처리량 및 메모리 효율적인 라이브러리입니다.
llamafactoryhiyouga
신규LlamaFactory는 100개 이상의 대규모 언어 및 멀티모달 모델을 효율적으로 파인튜닝하기 위한 Python 프레임워크로, 제로코드 CLI, Gradio 웹 UI, LoRA/QLoRA 및 다양한 학습 알고리즘을 제공합니다.