art

ART(Agent Reinforcement Trainer)는 OpenPipe의 오픈소스 강화학습 프레임워크로, LLM 기반 에이전트가 경험을 통해 학습할 수 있게 한다. 명시된 목표는 GRPO(Group Relative Policy Optimization) 훈련을 일반적인 Python 애플리케이션에 통합해 에이전트의 신뢰성을 높이는 것이며, 이를 통해 다단계 에이전트가 실제 작업에 대해 현장 훈련을 받을 수 있다. 아키텍처 ART는 기능을 클라이언트와 서버로 분리한다. 클라이언트는 OpenAI 호환이며 기존 코드베이스와 인터페이스한다. 메시지를 전달하고 모델이 개선됨에 따라 완성 결과를 받는다. 서버는 GPU가 있는 머신에서 독립적으로 실행되며 추론과 훈련의 복잡성을 추상화하면서도 구성은 가능하게 한다. 문서화된 훈련 루프는 다음과 같이 작동한다. 1. 추론: 코드가 에이전트 워크플로를 실행하며, 보통 여러 롤아웃을 병렬로 수행한다. 완성 요청은 ART 서버로 라우팅되고, 서버는 vLLM에서 모델의 최신 LoRA를 제공한다. 각 시스템, 사용자, 어시스턴트 메시지는 Trajectory에 저장되며, 롤아웃이 끝나면 코드가 해당 Trajectory에 보상을 할당한다. 2. 훈련: 완료된 Trajectory는 그룹화되어 서버로 전송되고, 훈련이 실행되는 동안 추론은 차단된다. 서버는 최신 체크포인트(또는 첫 반복에서는 빈 LoRA)에서 시작해 GRPO로 훈련하고, 새 LoRA를 로컬에 저장한 뒤 vLLM에 로드하고 추론 차단을 해제한다. 이 루프는 구성된 반복 횟수만큼 반복된다. 설치 및 사용 ART는 `pip install openpipe-art`로 설치할 수 있으며 Python을 실행하는 모든 클라이언트 머신에서 사용할 수 있다. README는 art.openpipe.ai의 문서와 예제 에이전트 작업을 다루는 Colab 노트북 모음을 안내한다. 여기에는 이메일 검색(ART•E), 2048, LangGraph 통합, MCP 서버 마스터리(MCP•RL), Temporal Clue, Tic Tac Toe, Codenames, RULER를 사용한 AutoRL, 그리고 증류 및 SFT 워밍업 후 RL과 같은 지도 미세조정 예제가 포함된다. 노트북은 실습 중심의 입문 자료로 제시된다. 모델 지원 ART는 대부분의 vLLM/HuggingFace-transformers 호환 인과 언어 모델, 또는 최소한 Unsloth가 지원하는 모델과 작동한다고 설명된다. README는 작성 시점에 Gemma 3는 지원되지 않는 것으로 보인다고 밝히며, 다른 미지원 모델에 대한 보고를 Discord 또는 GitHub 이슈로 요청한다. 설명에는 지원 모델로 Qwen3.6, GPT-OSS, Llama가 언급된다. 선택적 서버리스 훈련 별도의 관리형 서비스인 W&B Training(Serverless RL)은 강화학습으로 모델을 유연하게 훈련하기 위한 최초의 공개 서비스로 제시된다. 이는 훈련 및 추론 인프라를 자동으로 관리해 사용자가 데이터, 환경, 보상 함수에 집중할 수 있게 한다. README는 공유 추론 클러스터에서의 멀티플렉싱을 통한 비용 절감, 여러 GPU에 걸쳐 많은 동시 요청으로 확장해 더 빠른 훈련, 완전 관리형 인프라, W&B Inference를 통한 체크포인트 즉시 배포 등의 이점을 나열한다. 짧은 코드 예제는 ServerlessBackend와 TrainableModel 등록을 보여준다. 통합 및 관측성 ART는 관측성과 디버깅을 위해 W&B, Langfuse, OpenPipe 같은 호스팅 플랫폼과의 통합을 홍보한다. 또한 LangGraph 에이전트 훈련을 위한 LangGraph 통합, 모델이 MCP 서버 도구를 사용하도록 가르치는 MCP•RL, 자동 입력 생성과 RULER 평가를 통한 제로 데이터 훈련용 AutoRL, 자동 보상 생성을 위한 RULER를 강조한다. 프로젝트 상태 및 라이선스 ART는 활발히 개발 중이며 CONTRIBUTING.md를 통해 기여를 환영한다. 소스 코드는 Apache-2.0 License로 제공된다. README는 Unsloth, vLLM, trl, torchtune을 기반 프로젝트로 언급하며 BibTeX 인용을 포함한다.