soulsgym

SoulsGym은 Gymnasium 강화 학습 툴킷을 위한 오픈소스 확장 프로그램으로, 다크 소울 III 및 엘든 링과 같은 비디오 게임의 보스전에서 AI 알고리즘을 훈련하고 테스트하도록 설계되었습니다. ### 작동 방식 SoulsGym은 런타임에 게임 메모리를 읽고 쓰는 코드를 주입하여 실제 게임을 시뮬레이션으로 사용합니다. 이를 통해 보스전 상태를 관찰하고, 컨트롤러 입력으로 행동을 실행하며, 게임 매개변수에 기반하여 보상을 계산하는 맞춤형 Gymnasium 환경을 생성할 수 있습니다. ### 요구 사항 및 설정 이 도구는 지원되는 게임(예: Steam)의 구매 사본이 필요하며, Windows 및 Linux(Steam Proton 또는 Wine을 통해)와 호환됩니다. 사용자는 특정 사용자 지정 키 바인딩, 그래픽 설정으로 게임을 실행하고, 멀티플레이어 금지(밴)를 방지하기 위해 오프라인 모드로 실행해야 합니다. Linux에서는 속도 핵 프록시 DLL과 관련된 추가 구성이 필요합니다. ### API 및 현재 지원 환경은 표준 Gymnasium API를 따르므로 사용자가 기존 RL 알고리즘을 쉽게 통합할 수 있습니다. 현재 SoulsGym은 다크 소울 III에서 Iudex Gundyr와 싸우는 환경을 제공합니다. 정확한 좌표와 타이밍을 제공하는 실제 관측 공간과 이미지 기반 관측 공간을 모두 지원합니다. 간단한 Python 예제는 환경을 인스턴스화하고, 무작위 행동을 샘플링하며, 기본 게임 루프를 실행하는 방법을 보여줍니다. ### 로드맵 개발자들은 훈련 과정을 더 일반적이고 시각적으로 현실적으로 만들기 위해 완전한 이미지 기반 관측으로 전환하고 있습니다. 향후 계획에는 엘든 링(특히 보스 '마짓, 저주받은 짐승') 지원 추가와 다양한 소울 게임의 더 많은 보스전으로 라이브러리를 확장하는 것이 포함됩니다.