engram

## Resumen del proyecto Este repositorio es la implementación oficial del paper "Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models", publicado por DeepSeek. Investiga la "memoria condicional" (conditional memory), una dimensión de escasez complementaria a la de los Mixture of Experts (MoE), y la materializa como módulo Engram: una modernización de los embeddings clásicos de N-gramas con búsqueda O(1). ## Contenido principal - **Asignación de escasez**: El paper formaliza el equilibrio entre cómputo neuronal (MoE) y memoria estática (Engram), proponiendo una ley de escalado en forma de U para guiar la asignación de capacidad. - **Validación empírica**: Bajo restricciones de igual número de parámetros y FLOPs, el modelo Engram-27B muestra mejoras consistentes frente a la línea base MoE en dominios de conocimiento, razonamiento, código y matemáticas. - **Análisis de mecanismos**: El análisis sugiere que Engram alivia la carga de las capas tempranas para reconstruir patrones estáticos, potencialmente preservando profundidad efectiva para el razonamiento complejo. - **Eficiencia del sistema**: El módulo utiliza direccionamiento determinista, lo que permite descargar la enorme tabla de embeddings a la memoria del host con una sobrecarga de inferencia mínima. ## Arquitectura y evaluación El módulo Engram mejora la red troncal recuperando memoria estática de N-gramas y fusionándola con los estados ocultos dinámicos. El repositorio proporciona diagramas de arquitectura y archivos fuente drawio. La sección de evaluación incluye gráficos de leyes de escalado, preentrenamiento a gran escala, entrenamiento de contexto largo y estudios de caso. ## Inicio rápido Se recomienda Python 3.8+ y PyTorch. Tras instalar las dependencias, ejecute el script de demostración para ver la lógica central del módulo Engram. Tenga en cuenta que este código es una versión de demostración que simula componentes estándar como Attention/MoE/mHC, centrándose en mostrar el flujo de datos del módulo Engram. ## Licencia y contacto El uso del modelo está sujeto a la licencia incluida en el repositorio. Los problemas pueden reportarse a través de issues o por correo electrónico.