标签：deep-learning

从最基础的随机梯度下降出发，系统梳理 Momentum、AdaGrad、RMSProp、Adam、AdamW、大模型训练中的参数分组与二阶/预条件思想，最后落到 Muon 的核心动机、算法结构、适用边界与未来优化器演化趋势。