鼠鼠研究站

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

详解 arXiv:2504.14945 的 LUFFY：为什么纯 on-policy RLVR 会受限于模型初始能力，为什么朴素 SFT 又容易僵硬模仿，以及如何用 Mixed-Policy GRPO 与 policy shaping 在 off-policy 指导下学习推理。

以 LUFFY 为锚点，梳理 reasoning SFT 中 teacher trace 与 student policy 分布错配的问题，以及后续沿 RLVR、OPD、backtracking、agent step-wise distillation 等方向形成的研究现状。

深度梳理 LLM 中 reflection、search trace、backtracking 与 test-time compute 的研究线：为什么错误轨迹有时有价值，什么时候回退有效，为什么直接 SFT 反思文本不等于学会搜索，以及这条线对 LLM Agent / Code Agent 的启发。

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

梳理带 think/反思轨迹的 SFT 为什么会有 off-policy 问题，以及从 CoT、搜索轨迹、RL 到 OPD/Agent OPD 的最新研究进展。

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

详解 Just-In-Time Reinforcement Learning 如何把历史轨迹记忆转成 advantage，在推理时直接加到候选动作 logits 上，从而在不更新参数的情况下实现类似 KL 约束策略优化的 agent 持续学习。

系统梳理 DPO 从 RLHF/PPO 替代方案到偏好优化基础组件的发展脉络，分析 IPO、KTO、ORPO、SimPO、Step-DPO、Online DPO 等后续路线，以及 DPO 在 reasoning 与 LLM Agent 场景中的核心瓶颈。

系统梳理 LLM 指令遵循从 prompt、多任务指令微调、RLHF、合成指令数据，到复杂约束评测、指令层级、prompt injection 与 agent 行动合规的发展脉络，并分析当前未解问题与研究机会。

按日期查看每天的研究任务、晨间论文早读和临时分析。

单篇论文的详细解读、背景判断和链接整理。

围绕长期关注方向，持续沉淀技术主题笔记。

沉淀训练系统、性能复现、源码口径核查和实验结果分析。

沉淀本站搭建、工作流复现、工具配置与可分享操作手册，方便别人直接照着做。

以 LUFFY 为锚点，梳理 reasoning SFT 中 teacher trace 与 student policy 分布错配的问题，以及后续沿 RLVR、OPD、backtracking、agent step-wise distillation 等方向形成的研究现状。

深度梳理 LLM 中 reflection、search trace、backtracking 与 test-time compute 的研究线：为什么错误轨迹有时有价值，什么时候回退有效，为什么直接 SFT 反思文本不等于学会搜索，以及这条线对 LLM Agent / Code Agent 的启发。

梳理带 think/反思轨迹的 SFT 为什么会有 off-policy 问题，以及从 CoT、搜索轨迹、RL 到 OPD/Agent OPD 的最新研究进展。

系统梳理 DPO 从 RLHF/PPO 替代方案到偏好优化基础组件的发展脉络，分析 IPO、KTO、ORPO、SimPO、Step-DPO、Online DPO 等后续路线，以及 DPO 在 reasoning 与 LLM Agent 场景中的核心瓶颈。

系统梳理 LLM 指令遵循从 prompt、多任务指令微调、RLHF、合成指令数据，到复杂约束评测、指令层级、prompt injection 与 agent 行动合规的发展脉络，并分析当前未解问题与研究机会。

系统梳理 think/reasoning 模型 SFT 与传统 instruction SFT 的差异，分析 DeepSeek-R1、s1、LIMO、STILL-2、Sky-T1、OpenThoughts、Qwen3 等代表工作，并讨论 long-CoT SFT、cold-start、蒸馏、verifier、RLVR、test-time compute 与 latent reasoning 的关系。

从不动点方程、压缩映射、采样估计、分布漂移和三重耦合出发，用小白能听懂的方式解释强化学习为什么比监督学习难。

用小白能听懂的方式拆解 V777 关于强化学习的知乎回答：对偶配对、占据测度、HJB 对偶、Actor-Critic、PPO、single shooting、MPC，以及这套叙事对 LLM Agent 的启发。

结合 Liangguang 实际使用的 Megatron 源码，拆解 reported TFLOP/s/GPU 的估算口径，并解释 small SWA、GQA、FP8、Context Parallel 和 fused kernel 分别如何影响 FLOPs 分子与 step time 分母。

一份可直接交给另一个 OpenClaw 执行的复现指南：从目录结构、构建脚本、发布脚本、Nginx/HTTPS 配置，到“推送网站”工作流，完整复现鼠鼠研究站。

详解 arXiv:2504.14945 的 LUFFY：为什么纯 on-policy RLVR 会受限于模型初始能力，为什么朴素 SFT 又容易僵硬模仿，以及如何用 Mixed-Policy GRPO 与 policy shaping 在 off-policy 指导下学习推理。

以 LUFFY 为锚点，梳理 reasoning SFT 中 teacher trace 与 student policy 分布错配的问题，以及后续沿 RLVR、OPD、backtracking、agent step-wise distillation 等方向形成的研究现状。

深度梳理 LLM 中 reflection、search trace、backtracking 与 test-time compute 的研究线：为什么错误轨迹有时有价值，什么时候回退有效，为什么直接 SFT 反思文本不等于学会搜索，以及这条线对 LLM Agent / Code Agent 的启发。

梳理带 think/反思轨迹的 SFT 为什么会有 off-policy 问题，以及从 CoT、搜索轨迹、RL 到 OPD/Agent OPD 的最新研究进展。

详解 Just-In-Time Reinforcement Learning 如何把历史轨迹记忆转成 advantage，在推理时直接加到候选动作 logits 上，从而在不更新参数的情况下实现类似 KL 约束策略优化的 agent 持续学习。