오픈 소스. 새로운 가능성.

Open Dungeon is a fully local AI roleplay app that generates stories and inline scene images on your machine using Ollama and FLUX, without cloud services or API keys.

Unsloth는 Windows, macOS, Linux에서 대규모 언어 모델(LLM) 및 확산 모델을 로컬로 실행하고 학습시킬 수 있는 데스크톱 애플리케이션이자 프레임워크입니다.

Xinference는 언어, 음성, 멀티모달 모델을 제공하는 통합 추론 라이브러리입니다. OpenAI 호환 RESTful API, 이기종 GPU/CPU 활용, 분산 배포를 지원하며 LangChain, LlamaIndex, Dify, Chatbox와 통합됩니다.

UL-SMF는 장기 컨텍스트 트랜스포머 추론을 위한 KV 캐시 압축 프레임워크로, FSQ와 16차원 잠재 매핑을 통해 최대 384배 압축을 주장한다. 핵심 압축 로직은 독점 폐쇄형 바이너리에 의존한다.

LlamaFactory는 100개 이상의 대규모 언어 및 멀티모달 모델을 효율적으로 파인튜닝하기 위한 Python 프레임워크로, 제로코드 CLI, Gradio 웹 UI, LoRA/QLoRA 및 다양한 학습 알고리즘을 제공합니다.

Ollama는 macOS, Windows 및 Linux에서 오픈 소스 대규모 언어 모델을 로컬로 실행, 관리 및 구축할 수 있게 해주는 도구입니다.

Hugging Face Transformers는 텍스트, 비전, 오디오 및 멀티모달 작업을 위한 머신러닝 모델 정의 프레임워크입니다. 100만 개 이상의 사전 학습된 체크포인트와 함께 추론 및 학습을 위한 통합 API를 제공합니다.