OpenMythos Recurrent | 技能詳情 | OpenClaw Study

OpenMythos Recurrent 提供一個可重用的實作,供構建和實驗受 Claude Mythos 設計啟發的 Recurrent-Depth Transformer(RDT)模型。它實現了三階段流程——Prelude(一次性編碼器層)、具有穩定注入的循環 Recurrent Block(學習的 A/…

OpenMythos Recurrent 提供一個可重用的實作,供構建和實驗受 Claude Mythos 設計啟發的 Recurrent-Depth Transformer(RDT)模型。它實現了三階段流程——Prelude(一次性編碼器層)、具有穩定注入的循環 Recurrent Block(學習的 A/B 參數、譜半徑約束)和 Coda——透過改變循環迭代次數來達成推論時的深度可擴展性。主要特性包括可切換的 MLA(Multi-head Latent Attention)與 GQA(Grouped Query Attention)、具路由或共享專家之稀疏 MoE(Mixture-of-Experts)前饋層,以及可配置的訓練自適應迴圈迭代排程。使用場景涵蓋計算自適應架構研究、參數高效的更深層推理、MoE 路由實驗,以及可變推理深度生成系統的原型開發。核心優勢為高效的權重重用、在推論時對推理深度的細粒度控制,以及便於快速實驗與部署的模組化注意力/MoE 配置。

本頁屬於 OpenClaw Skills 學習體系,涵蓋技能安裝、分類導覽與實戰連結。

English 简体中文 日本語 Español Português