Markovian

Markovianは、有限確率カーネル、マルコフ報酬過程 (MRP)、マルコフ決定過程 (MDP)、方策、および有界インタプリタに焦点を当てた実験的なHaskellパッケージです。本パッケージは、モデル、方策、ホライゾン、および割引パラメータを明示した、有限ホライゾンの期待リターンの厳密な評価を提供します。また、残差、価値誤差、および貪欲方策の境界を伴う厳密な割引価値反復と、厳密な決定論的方策反復が含まれています。 本パッケージは、標準的な厳密な有限信念、遷移後の予測、および条件付けを伴うベイズ推論をサポートしています。また、純粋性インデックス付きの確率回路構文、明示的な共有、および厳密な凸選択を用いた回路表現を実装しています。システムモデリング向けには、有限型ハイパーグラフ、構造化コスパン、および可換オープンシステムセルを提供します。 Markovianには、厳密な純粋文脈平衡の列挙を伴う有限オープンゲームの実装が含まれています。パッケージは個別のモジュールに整理されており、ルートライブラリは 'base' のみに依存し、有限の厳密な意味論を公開します。一方、オプションパッケージが数値演算、サンプリング、学習、密な厳密表現、およびベンチマークを処理します。 さらに、オプションパッケージによって、連続過程、autodiff、テンソル演算、GPU加速、およびニューラルネットワーク統合の機能が、すべて明示的に有界なスコープで提供されます。本パッケージには、在庫管理のベンチマークと、特定の数学的特性および実装の根拠が含まれています。