主题归档

梳理带 think/反思轨迹的 SFT 为什么会有 off-policy 问题，以及从 CoT、搜索轨迹、RL 到 OPD/Agent OPD 的最新研究进展。

系统梳理 DPO 从 RLHF/PPO 替代方案到偏好优化基础组件的发展脉络，分析 IPO、KTO、ORPO、SimPO、Step-DPO、Online DPO 等后续路线，以及 DPO 在 reasoning 与 LLM Agent 场景中的核心瓶颈。

系统梳理 LLM 指令遵循从 prompt、多任务指令微调、RLHF、合成指令数据，到复杂约束评测、指令层级、prompt injection 与 agent 行动合规的发展脉络，并分析当前未解问题与研究机会。

系统梳理 think/reasoning 模型 SFT 与传统 instruction SFT 的差异，分析 DeepSeek-R1、s1、LIMO、STILL-2、Sky-T1、OpenThoughts、Qwen3 等代表工作，并讨论 long-CoT SFT、cold-start、蒸馏、verifier、RLVR、test-time compute 与 latent reasoning 的关系。

从不动点方程、压缩映射、采样估计、分布漂移和三重耦合出发，用小白能听懂的方式解释强化学习为什么比监督学习难。

用小白能听懂的方式拆解 V777 关于强化学习的知乎回答：对偶配对、占据测度、HJB 对偶、Actor-Critic、PPO、single shooting、MPC，以及这套叙事对 LLM Agent 的启发。

从 CoT、Self-Consistency、Verifier、ToT/ReAct/Reflexion 到 Stream of Search、Self-Backtracking 与 RL 长 CoT，梳理大模型“反思”和长推理能力到底是什么、哪里有效、哪里会失效，以及未来如何提升。

调研“把显式思考过程替换成统一 token，让模型表面输出空白思考、内部完成计算”这一想法的可行性、已有工作和研究机会。

从 STaR 到 Quiet-STaR、V-STaR、B-STaR、AdaSTaR、START、STaR-SQL 等系列工作，系统梳理“模型自己生成训练信号再训练自己”这条路线的技术脉络、核心瓶颈与研究机会。

用小白能听懂的方式，从 Stable Diffusion 为什么难控制讲起，逐步解释 ControlNet 的动机、结构、零卷积、训练与推理流程，并配上伪代码和 diffusers 示例代码。

系统梳理大模型 On-Policy Distillation 的定义、经典工作、发展逻辑、方法谱系与当前开放问题。

梳理大语言模型 Adaptive Thinking / reasoning effort / thinking budget 的主流做法、think/no-think 开关机制、训练与推理控制路径，以及当前研究机会。

横向比较 GPT-5.5、GPT-5.4、GPT-5.4 mini、GPT-5.3 Codex、GPT-5.2、DeepSeek V4 Pro/Flash 与 GLM-5.1 在 Agent、通用、数学、代码 benchmark 以及 API 价格上的表现。

基于 /usr/local/lib/hermes-agent 本地源码，系统解读 Hermes Agent 的 CLI、AIAgent 主循环、模型 Provider 路由、工具系统、Skills、Memory、SessionDB、Gateway、多平台适配、Cron、Webhook、Plugin、MCP、TUI、ACP、安全边界和扩展路线。

从经典分布式 AI/MAS、群体智能、MARL 到 LLM Agent Society，梳理 multi-agent 方向的发展脉络、关键工作、benchmark 与未来研究机会。

面向初学者和研究选题，系统解释长上下文退化的现象、机制、评测、模型与系统方案，以及它如何连接 RAG、上下文压缩、KV cache、Agent memory、代码智能、长轨迹 RL 和 latent-space reasoning。

以 DreamZero / World Action Models are Zero-shot Policies 为锚点，用小白能懂的人话解释 WAM 的前置脉络、视频-动作对齐机制、后续工作与可研究方向。

从概率路径、训练目标、采样动力学和工程优势四个层面解释 Flow Matching 与 Diffusion 的关系：Diffusion 可以看作一类带随机噪声的 score-based 生成过程，而 Flow Matching 更直接学习把噪声分布搬运到数据分布的确定性速度场，因此在训练目标、采样效率、路径设计和大模型工程上更统一、更方便。

系统梳理大模型训练中 pretraining 与 mid-training 的定位差异：预训练数据负责建立通用语言、知识与表征底座，mid-training 数据则作为从通用预训练分布到后训练目标分布的桥梁，面向数学、代码、QA、长上下文、指令与推理等能力做高质量、低比例、强评估闭环的阶段性注入。

从扩散模型的基本训练目标出发，解释 DiT 如何把 noisy image/latent 切成 token，用 Transformer 预测噪声或速度场，并用一个 CIFAR-10 教学版实现串起数据、shape、模块、loss 与采样流程。