Markovian

Markovian은 유한 확률 커널, 마르코프 보상 과정(MRP), 마르코프 결정 과정(MDP), 정책 및 제한된 인터프리터에 초점을 맞춘 실험적인 Haskell 패키지입니다. 이 패키지는 명시적인 모델, 정책, 호라이즌 및 할인 매개변수를 사용하여 유한 호라이즌 기대 수익에 대한 정확한 평가를 제공합니다. 또한 잔차, 가치 오류 및 그리디 정책 경계를 포함한 정확한 할인 가치 반복(discounted value iteration)과 정확한 결정적 정책 반복(deterministic policy iteration)을 포함합니다. 이 패키지는 정준 정확 유한 신념(canonical exact finite beliefs), 전이 후 예측 및 조건화를 통한 베이지안 추론을 지원합니다. 또한 순수성 인덱스 확률 회로 구문, 명시적 공유 및 정확한 볼록 선택(convex choice)을 갖춘 회로 표현을 구현합니다. 시스템 모델링을 위해 유한 타입 하이퍼그래프, 구조화된 코스팬(cospans) 및 가환 오픈 시스템 셀을 제공합니다. Markovian은 정확한 순수 문맥 평형(pure contextual equilibrium) 열거가 가능한 유한 오픈 게임 구현을 포함합니다. 패키지는 별도의 모듈로 구성되어 있습니다. 루트 라이브러리는 'base'에만 의존하며 유한 정확 시맨틱을 노출하고, 선택적 패키지들은 수치 연산, 샘플링, 학습, 조밀 정확 표현 및 벤치마크를 처리합니다. 추가적인 선택적 패키지들은 연속 프로세스, 자동 미분(autodiff), 텐서 연산, GPU 가속 및 신경망 통합 기능을 명시적으로 제한된 범위 내에서 제공합니다. 이 패키지에는 재고 관리 벤치마크와 특정 수학적 속성 및 구현에 대한 증거가 포함되어 있습니다.