OpenMythos Recurrent ofrece una implementación reutilizable para construir y experimentar con modelos Recurrent-Depth Transformer (RDT) inspirados en el di…
OpenMythos Recurrent ofrece una implementación reutilizable para construir y experimentar con modelos Recurrent-Depth Transformer (RDT) inspirados en el diseño Claude Mythos. Implementa un flujo de tres etapas: Prelude (capas de codificador aplicadas una sola vez), un Bloque Recurrente en bucle con inyección estable (parámetros A/B aprendidos, restricción de radio espectral) y una Coda, permitiendo escalar la profundidad en tiempo de inferencia variando las iteraciones del bucle. Las características clave incluyen MLA (Multi-head Latent Attention) y GQA (Grouped Query Attention) conmutables, capas feed-forward MoE (Mixture-of-Experts) dispersas con expertos enrutados o compartidos, y horarios de iteración de bucle adaptativos configurables para entrenamiento. Casos de uso: investigación en arquitecturas adaptativas al cómputo, razonamiento más profundo con eficiencia de parámetros, experimentos de enrutamiento MoE y prototipado de sistemas generativos con profundidad de razonamiento variable. Las ventajas principales son la reutilización eficiente de pesos, control fino de la profundidad de razonamiento en inferencia y una configuración modular de atención/MoE para experimentación y despliegue rápidos.
Esta página forma parte del hub OpenClaw Skills con guías de instalación, categorías y enlaces prácticos.