Markovian

Markovian é um pacote experimental de Haskell focado em kernels estocásticos finitos, processos de recompensa de Markov (MRP), processos de decisão de Markov (MDP), políticas e intérpretes limitados. O pacote fornece avaliação exata de retorno esperado de horizonte finito com parâmetros explícitos de modelo, política, horizonte e desconto. Inclui iteração de valor descontado exato com limites de resíduo, erro de valor e política gulosa, bem como iteração de política determinística exata. O pacote suporta inferência Bayesiana com crenças finitas exatas canônicas, predição pós-transição e condicionamento. Implementa representações de circuito com sintaxe de circuito estocástico indexado por pureza, compartilhamento explícito e escolha convexa exata. Para modelagem de sistemas, oferece hipergrafos tipados finitos, cospans estruturados e células de sistema aberto comutativas. Markovian inclui implementações para jogos abertos finitos com enumeração exata de equilíbrio contextual puro. O pacote é organizado em módulos separados: a biblioteca raiz depende apenas de 'base' e expõe semântica exata finita, enquanto pacotes opcionais lidam com operações numéricas, amostragem, aprendizado, representações exatas densas e benchmarks. Pacotes opcionais adicionais fornecem capacidades para processos contínuos, autodiff, operações de tensor, aceleração por GPU e integração de redes neurais, todos com escopos explicitamente limitados. O pacote inclui benchmarks de controle de inventário e evidências de propriedades matemáticas e implementações específicas.