Markovian

Markovian es un paquete experimental de Haskell centrado en núcleos estocásticos finitos, procesos de recompensa de Markov (MRP), procesos de decisión de Markov (MDP), políticas e intérpretes acotados. El paquete proporciona una evaluación exacta del retorno esperado en horizontes finitos con parámetros explícitos de modelo, política, horizonte y descuento. Incluye iteración de valor descontado exacta con límites de residuo, error de valor y política codiciosa, así como iteración de política determinista exacta. El paquete soporta inferencia bayesiana con creencias finitas exactas canónicas, predicción post-transición y condicionamiento. Implementa representaciones de circuitos con sintaxis de circuitos estocásticos indexados por pureza, uso compartido explícito y elección convexa exacta. Para el modelado de sistemas, ofrece hipergrafos tipados finitos, cospans estructurados y celdas de sistemas abiertos que conmutan. Markovian incluye implementaciones para juegos abiertos finitos con enumeración exacta de equilibrio contextual puro. El paquete está organizado en módulos separados: la biblioteca raíz depende únicamente de 'base' y expone semánticas exactas finitas, mientras que los paquetes opcionales gestionan operaciones numéricas, muestreo, aprendizaje, representaciones exactas densas y benchmarks. Paquetes opcionales adicionales proporcionan capacidades para procesos continuos, autodiff, operaciones de tensor, aceleración por GPU e integración de redes neuronales, todo con ámbitos explícitamente acotados. El paquete incluye benchmarks de control de inventario y evidencia de propiedades matemáticas e implementaciones específicas.