#2026-08-23 AI/LLM 最新论文与研究热点简报
覆盖窗口:截至北京时间 2026-08-23 08:00。由于 arXiv 周末不发布新批次,本期重点覆盖 8 月 20 日提交、8 月 21 日进入 recent 列表的最后一批新作,以及 8 月 19–20 日进入 Hugging Face Papers 的高相关项目;不是把周末重复榜单当成“新论文”。
检索与核验:扫描 arXiv
cs.AI / cs.CL / cs.LG / cs.SE / stat.MLrecent 页面,下载并全文抽取 16 篇高相关候选;核对 Hugging Face Daily Papers API、GitHub API、论文项目页与公开数据/模型入口。Google Scholar 返回 403,OpenAlex 返回 503;X 搜索页面虽返回动态应用外壳,但浏览器无法获得稳定、可审计的公开时间线,因此本文不引用无法核验的社交帖子。GitHub 推荐只列已核验目录结构的仓库;仅 README 的占位项目不会列入 Top 3。
#一、早读结论:今天最值得抓住的 7 个信号
- “Agent 会不会自我改进”需要两个比排行榜更严格的测量对象:AI4AI-Bench 测 Agent 是否真改了 learning algorithm;Phantom Gains 则要求任何逐题能力“获得/遗忘”都先过 frozen-control measured null。
- Agent 能力塑形正在前移到 mid-training:MidTool 用 20.3B token 的 web/PDF/code/tool mixture 教 affordance、argument grounding、workflow composition 与 missing-information recovery,而不是把通用工具使用全部留给 SFT/RL 补课。
- 环境设计从“生成新题”转向“给静态世界加可编程 harness”:EnvHarness 保留原 verifier,仅用可插拔组件改变课程、反馈与组合方式;EnvRigger 再根据目标 policy 的失败轨迹自动定制环境。
- 长轨迹 credit assignment 出现一次很重要的正反对照:MileGPO 从 rollout graph 提炼 milestone、trap 与 sibling evidence;但 executed-replay audit 发现现有 judge/logprob/confidence 信号没有一个比随机更能识别真实因果贡献。
- Memory 的目标不应再是“检索到相关旧文本”:一条线发现相关记忆本身会造成 fixation / belief distortion,另一条线发现 memory 必须显式维护 supersession 与 derived-state dependencies。
- 自演化 skill 的粒度比数量更重要:整任务总结型 skill 平均有害;subtask-level text skill 才更稳定迁移。Skill library 应先做 transferability audit,而不是无上限累积。
- Code Agent 的下一阶段是显式维护结构与领域状态:Repo0 用 requirement/component Dual-DAG 持续演化架构;SWE-bench Science 证明科学代码修复既需要领域知识,也必须避免错误知识造成 anchoring。
#二、重点精读(Top 5)
#1. AI4AI-Bench:Agent 真能改训练算法,还是只会调预算和超参数?
- 类别:
Code Agent/Self-improvement/Foundation Model Training/Evaluation - 标题:AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
- 来源与日期:arXiv:2608.20318;v1 2026-08-20,8 月 21 日 recent
- 代码/任务:Einsia/AI4AI-Bench
- 一句话核心贡献:用 10 个冻结研究仓库、10 类训练算法,把“改运行方式”和“改学习机制”分开:Agent 有 4 小时/单 B300 改训练代码,提交后从零训练最长 12 小时,再由不可见 evaluator 打分。
为什么值得关注?
多数“AI 自动研究”benchmark 最终奖励的是收集更多数据、加算力或调超参,而不一定要求 Agent 提出新的 objective、supervision signal 或 update rule。AI4AI-Bench 强制提交一个可从零重训的 source patch,并把各任务归一到统一尺度:0 是无信息模型,0.1 是仓库原算法,1.0 是任务最优。
29 个配置、6 个系统、10 个任务的平均分只有 0.166,最强系统平均 0.250;也就是说,最强者也只走完“原算法到最优”距离的不到五分之一。263 个实际改动中,141 个没有触碰学习过程;122 个真正修改 objective / data / update rule 的提交平均 0.226,其余只有 0.126。增加 reasoning effort 的主要作用,是把愿意触碰 learning algorithm 的比例从 8% 提到 64%,而不是自动发现突破性算法。
与 wenjun 方向的关系:
- 对 self-evolving Code Agent,这是比“能不能修 issue”更接近 recursive improvement 的评测:Agent 要修改训练系统本身,并承受 clean retrain 的延迟反馈;
- 对 model-based RL,可把 cheap proxy 与 hidden final metric 的偏差建模成实验 world model,规划“先跑什么小实验最能缩小算法不确定性”;
- 对基础模型训练机制研究,它把训练代码搜索、实验设计、指标代理与算法创新明确拆开,适合研究 Agent 为什么停留在外围超参而不进入 learning rule。
研究判断与边界:这是今天最值得精读的新 benchmark,但它仍是有限仓库、单卡、小时级 proxy。高水平算法研究往往需要跨代码库知识、数天训练与理论分析;后续应测跨 repo 方法迁移,以及 Agent 能否把一个任务发现的优化原理编译为另一个任务可复用的实验 skill。
#2. MidTool:通用工具使用不应只靠后训练,应该在 mid-training 形成能力底座
- 类别:
Agent Pretraining Data/Tool-use/Mid-training/Post-training RL - 标题:MidTool: Mid-training Data Synthesis for Agentic Tool Use
- 来源与日期:arXiv:2608.20314;v1 2026-08-20,8 月 21 日 recent;Snowflake 等
- 数据与模型:MidTool Release Collection
- 一句话核心贡献:构造 20.3B-token、11.22M-sample 的 agentic tool-use mid-training mixture,把真实 API/MCP skill、技术文档、代码与 context-grounded trajectory 联合训练,再接统一 SFT/RL 配方。
为什么值得关注?
MidTool 不是简单堆 function-call JSON。其数据结构直接对应能力形成机制:
- Web 42%、Code 26%、PDF 23%、native agentic trajectory 9%;
- 从文档和代码中恢复真实工具 affordance 与 schema;
- 合成 multi-turn workflow,并严格校验 turn ordering、参数、schema grounding 与 tool response consistency;
- 混入 Agent World Model 环境 rollout 和过滤后的 Nemotron Agentic trajectories;
- 显式训练 incomplete information 下的恢复,而不只训练理想调用。
在 Qwen3-4B-Base 上,BFCL overall 从 SFT-only 的 39.73 提到 MidTool+SFT 的 50.25,再经 RL 到 54.18;8B 对应从 47.62 到 51.12 / 55.12。在更交互式的 τ2-Bench 上,4B overall Pass@1 从 SFT-only 8.54 提到 MidTool+SFT+RL 19.96。论文还在 MCP-Universe 检查真实 MCP server 上的分布外工具泛化。
与 wenjun 方向的关系:这直接命中“agent 预训练数据如何塑造能力”。真正有价值的变量不是 trajectory token 占比本身,而是 工具语义来源、workflow 结构、argument grounding、失败恢复和环境真实性。可把 MidTool 当作 agent-native mid-training 的强开放基线,再研究 world-model data、探索分支和长期状态转移是否带来不同能力。
研究判断与边界:论文证明 targeted mid-training 比只做 SFT/RL 更强,但尚未因果分清 source documents、context-grounded augmentation、native trajectory 与 AWM rollout 各自贡献。最值得复现的是数据 mixture ablation,而不是只复跑最终分数。
#3. EnvHarness:不重造世界,用可编程 harness 让静态环境持续追着 policy 的弱点走
- 类别:
LLM Agent/Environment Design/Self-evolution/Post-training RL - 标题:EnvHarness: Awakening Static Worlds for Agent Learning
- 来源与日期:arXiv:2608.19880;v1 2026-08-20;Hugging Face Papers 8 月 20 日榜单(本次 API 核验 246 upvotes)
- 代码与项目页:google-research/envharness · Project
- 一句话核心贡献:在不修改底层环境逻辑和 verifier 的前提下,用 plug-in harness 改写环境行为;EnvRigger 根据目标 policy 的成功/失败轨迹诊断弱点、合成组件,并用 fresh rollout 验证是否真的补到缺口。
为什么值得关注?
SPADE 类方法选择“生成新环境”,EnvHarness 选择更工程化的一条路:保留已有 benchmark 的可信执行与 verifier,只改变 presentation、stage、contract、feedback、environment chain 等外层结构。这降低了 verifier 幻觉和重建环境成本,也让环境变化可以版本化、回滚和审计。
跨四个领域五个 benchmark,论文报告 held-out task 最高 +9.0,同时少 9.8% execution steps。更关键的是 RL 实验:Qwen3-8B-Base + GRPO 在 EnvHarness 环境训练后,ALFWorld ID 由 81.4 到 87.9,WebShop score 75.6→79.2、success 66.0→67.4;但 ALFWorld OOD 略降 89.6→88.8,提醒环境定制可能引入新的训练偏置。
与 wenjun 方向的关系:这非常贴近“通过环境设计催生自演化智能”。对 Dreamer-like LLM Agent,可把 EnvHarness component 视作高层 environment action,让 world model 预测某种环境改写会暴露什么 policy failure、带来多少 transfer,而不是只用当前 rollout 成败做局部搜索。
研究判断与边界:EnvHarness 最大优势是复用真实 verifier,最大风险是优化成对当前 policy 的“定制补丁”。后续必须同时看 learner improvement、held-out transfer、环境多样性和 policy–harness co-adaptation,而不能只看训练环境增益。
#4. Credit Without Ground Truth:现有 step credit 可能只是在奖励模型自己的“说话顺滑”
- 类别:
LLM Agent/Agentic RL/Credit Assignment/Evaluation - 标题:Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay
- 来源与日期:arXiv:2608.19760;v1 2026-08-20;49 页,预注册分析
- 一句话核心贡献:在 ALFWorld 的每个决策点重采样 policy 自己支持的替代 action 并执行到终局,以 outcome distribution shift 构造因果 ground truth;发现 judge、outcome-conditioned logprob ratio、policy confidence 都不能比随机更好识别真正关键步骤。
为什么值得关注?
今天 MileGPO、SkillGate、TRCA 都在设计更细的 step-level signal,这篇提供了必须正视的审计标准:step correctness 不等于 step contribution。一个动作可以表面正确但对结果无影响,也可以看起来笨拙却是不可替代的转折点。
论文在 Qwen2.5-7B policy 上对 50 条轨迹逐点 replay;在可定义 ground truth 的决策点中,只有 30.5% 有可测因果效果。不同同规模 policy 中,没有 policy-supported counterfactual 的比例可从 13.1% 到 26.8%。Implicit credit 与 policy fluency 的中位 rank correlation 达 +0.75(另一模型族复现 +0.70),而 outcome conditioning 的 partial correlation 为 -0.004。七臂预注册训练中,没有一种 credit arm 可靠超过未训练 policy;表面差异主要能被“稀疏 credit 导致 optimizer step 更少”解释。
与 wenjun 方向的关系:这是长轨迹 Agent RL / model-based counterfactual credit 的核心警报。任何 learned world model、judge 或 latent value 都不应只在 annotation 上自洽;应在共享前缀下做可执行干预,测试“换掉这一步,后续成功分布是否改变”。
研究判断与边界:结论目前来自单 Agent、单工具环境 ALFWorld,不能直接宣判所有 process reward 无效;但它足以要求未来论文报告 dose-matched training、shuffled credit control 与 replay-grounded causal fidelity。
#5. Phantom Gains:自我改进研究必须给每个“能力获得/遗忘”统计量配一个 measured null
- 类别:
Self-improvement/Continual Learning/Evaluation/Post-training - 标题:Phantom Gains: Auditing Self-Improvement Against a Measured Null
- 来源与日期:arXiv:2608.20290;v1 2026-08-20
- 代码与评测产物:chengxuphd/phantom-gains
- 一句话核心贡献:让冻结 Qwen3-8B 走完整个自训练/评测 pipeline,测出逐题 transition statistics 自己的噪声底;证明七种常见测量做法都可在未训练模型上制造“能力获得/遗忘”。
为什么值得关注?
平均准确率相同并不代表能力集合相同,因此很多 self-improvement 工作追踪“某题从错变对、某题从对变错”。问题是两次 noisy estimate 相减会放大抽样、batching 和 decoding 不稳定性。论文发现:单次 greedy ledger 会在冻结模型上制造变化;用于区分 acquisition 与 sharpening 的 expansion statistic,冻结对照也可得到 0.280。简单要求至少两次答对仍不能消掉 null。
作者用 pooled baseline + per-problem exact test + FDR control 替代阈值法。受控比较中,外部 teacher distillation 能改善 base model 很少触及的问题,而三类 self-training 没有同等证据;self-training 还会以显著高于 measured floor 的频率破坏基线已会题目。
与 wenjun 方向的关系:self-evolving Code Agent、持续 RL 与 skill accumulation 都需要这种 control。所谓“新增能力”“减少遗忘”“技能可迁移”,至少应与 frozen pipeline、repeated rollout 和 workload-matched null 比较,否则可能把 nondeterminism 当学习。
研究判断与边界:论文审计的是 rank-32 LoRA、Qwen3-8B 与特定评测集合,不代表 self-training 原理上无效;它真正否定的是没有 measured null 的强结论。
#三、其他高相关论文与热点动态
#6. MileGPO:从 rollout graph 中找 milestone、trap 与同状态 sibling evidence
- 类别:
LLM Agent/Post-training RL/Credit Assignment/Long-horizon - 标题:MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents
- 来源与日期:arXiv:2608.19803;v1 2026-08-20
- 一句话贡献:从 grouped on-policy rollout 自动发现成功 milestone 与失败 trap,按 outcome reliability 加权,再用同状态 sibling branch 的局部进展校准 credit,不增加外部模型或环境交互。
论文报告 ALFWorld ID/OOD 为 96.29/94.60,ID–OOD gap 1.69;相对 GraphGPO,ALFWorld overall +3.13,WebShop success +3.78。它是很有潜力的低成本 credit 方法,但应与上面的 executed-replay audit 联读:same-state observed siblings 比纯 judge 更接近 counterfactual,却仍不等于真正执行所有替代 action 的因果 ground truth。
#7. SAPO:一个自回归 backbone 同时做 policy、state value 与 action value
- 类别:
Agentic RL/Systems/Credit Assignment/Post-training RL - 标题:SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning
- 来源与日期:arXiv:2608.19842;v1 2026-08-20
- 一句话贡献:在不同 causal boundary 从同一个 LLM backbone 读出 policy/value,联合 PPO 与 on-policy SARSA,并用 trajectory-level GAE 在单 rollout 条件下学习时间 credit。
Qwen2.5-1.5B/7B 的 ALFWorld、WebShop 实验中,论文报告相对 PPO/GRPO 平均 +15.1/+12.1 pp,且去掉独立 critic 模型、每轮耗时比 PPO 少 33.2%。值得关注的是 memory-efficient actor–critic,而不是把大幅增益直接外推到更复杂 harness。
#8. Break It Down, Pass It On:task-level skill 平均有害,subtask-level text skill 才更能迁移
- 类别:
LLM Agent/Continual Learning/Skill Memory/Self-evolution - 标题:Break It Down, Pass It On: Cross-Task Skill Transfer in LLM Agents
- 来源与日期:arXiv:2608.20274;v1 2026-08-20
- 一句话贡献:在 AppWorld、OfficeBench、KramaBench 与 11 个模型上控制比较 induction granularity × skill format,并提出
specificity × abstractness的 execution-free skill utility。
整任务 text/code skill 相对 no-memory 平均 -1.2/-4.1;subtask-level 则 +1.9/+0.5。同粒度下 text skill 比 code skill平均高 1.4–2.9 点。最重要的不是“文本优于代码”这一局部结果,而是 skill 必须同时足够贴近真实 subproblem、又能跨任务复用;过于完整的成功轨迹总结往往携带无关前提和 source-task 偶然性。
#9. MemTrapBench:相关且正确的记忆,也可能让当前推理变差
- 类别:
LLM Agent/Memory/Evaluation/Continual Learning - 标题:MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use
- 来源与日期:arXiv:2608.20202;v1 2026-08-20;HF Papers 8 月 20 日榜单
- 项目:zjunlp/MemTrapBench(当前仅 README,暂不列复现 Top 3)
- 一句话贡献:构造 Reasoning Fixation 与 Belief Distortion 两类 memory-induced trap;五种 memory framework 全部低于 no-memory,最强者也下降超过 10%。
这与 skill transfer 结果共同说明:memory relevance 不是 utility。Agent 需要 remember / verify / ignore / ask / overwrite 的 meta-policy,而不是检索后默认服从。
#10. StateMemBench / StateMem:memory 要存当前世界状态,而不是一堆相互冲突的历史事实
- 类别:
LLM Agent/Memory/Continual Learning/State Tracking - 标题:Can Agent Memory Systems Track Evolving State?
- 来源与日期:arXiv:2608.19652;v1 2026-08-20
- 一句话贡献:用 234 个多 session 场景显式区分 current state 与 superseded state;StateMem 维护 supersession 与 relational dependency,再以单调用 wrapper 套在现有 memory backend 上。
DeepSeek-V4-Flash current-state accuracy 从 0.205→0.363;Qwen3.5-9B 相对最强 memory 从 0.149→0.233。wrapper 在六种 memory/retrieval backend 上提升 32–67 points,cost/length-matched control 仍有 15–32 点来自 state structure。对 Code Agent,architecture decision、API contract、实验结论和用户意图都应是可更新状态,而不是相似文本集合。
#11. Orthogonal JEPA:把 monolithic latent state 拆成互补 predictive factors
- 类别:
Model-based RL/Latent Reasoning/World Model - 标题:Orthogonal JEPA: Factorized Predictive States for Latent World Models
- 来源与日期:arXiv:2608.20065;v1 2026-08-20
- 一句话贡献:用多组 learned basis 与独立 prediction branch 分解 target latent,配合正交、factor activity 和 variance regularization,减少主导信号重复占用容量。
在 500 条 random-action trajectory 训练的 MuJoCo CEM planning 中,Walker2d return 从标准 JEPA 4.9±12.6 到 45.1±11.2,InvertedPendulum 从 18.1±2.3 到 30.6±3.8;还测了 100-step molecular rollout。它对 wenjun 的启发是:LLM Agent latent state 可以按 goal / belief / dynamics / constraint / uncertainty 分 factor,但“正交”不等于语义独立,也不保证 planner 真使用,应继续配合 decision-metric / intervention audit。
#12. SWE-bench Science:领域知识既能约束修复,也会造成错误锚定
- 类别:
Code Agent/Evaluation/Scientific Software - 标题:SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?
- 来源与日期:arXiv:2608.19799;v1 2026-08-20;HF Papers 8 月 20 日榜单(58 upvotes)
- 代码、数据与榜单:GitHub · Dataset · Leaderboard
- 一句话贡献:119 tasks、98 repos、20 scientific domains,覆盖 issue-driven、expert-exploratory、engineering-integration;最强 Claude Code + Opus-5 Pass@1 仍低于 50%。
失败集中在科学抽象不足、误导探索/表面修复、集成覆盖不全、知识无法迁移。配对消融说明:grounded scientific information 可提高平均表现与 token efficiency,但 poorly aligned guidance 会 anchoring,且不保证 exact repair。对 agent pretraining data 的含义是:领域知识必须绑定 executable evidence 与适用条件。
#13. Repo0:从自然语言需求到完整仓库时,架构状态必须持续演化
- 类别:
Code Agent/Intent Understanding/Planning/Self-evolution - 标题:Repo0: Design-Driven Zero-to-All Code Generation
- 来源与日期:arXiv:2608.19854;v1 2026-08-20;HF Papers 8 月 20 日榜单
- 代码:cslsolow/Repo0
- 一句话贡献:显式维护 requirement DAG、component DAG 及二者 alignment,根据 modularity metric 持续做 structural action,收敛后再指导 TDD 代码生成。
六个 RepoCraft 仓库、GPT-5 mini / DeepSeek V3.2 上,相对最强 repository-planning baseline,Functionality Coverage 提高 4.55–20.08 pp,Pass Rate 提高 7.61–29.74 pp。对“指令→意图”研究,Dual-DAG 是一个可执行的中间 state:用户需求不是一次性 prompt,而是必须持续映射到组件、依赖、测试与变更影响。
#14. Outcome Monitors:silent tool failure 需要 outcome contract + 明确 recovery affordance
- 类别:
Tool-use/LLM Agent/Systems/Recovery - 标题:Outcome Monitors: Recovery Affordances for Silent Tool Failures
- 来源与日期:arXiv:2608.19303;v1 2026-08-19
- 一句话贡献:从 task-disjoint traces 或 public schema 中挖 outcome contract;返回值违反合同时不删除结果,而是附带 violated property 与可用 recovery tools。
ToolMaze completion 从 10.9%→28.1%,τ-bench retail 两档分别 +14/+12 点。对照实验显示,真正起作用的是 recovery-tool list,而不是更多诊断文字或更早提示。这提示工具可靠性不只要检测 anomaly,还要把可恢复 action space 暴露给 policy。
#四、今日最值得精读的 3 篇
- AI4AI-Bench:最贴近“自演化 Agent 能否反过来改进基础模型训练机制”;重点看 algorithm change 与 run tuning 如何区分、proxy/final metric 如何隔离。
- MidTool:最贴近 agent pretraining data 与能力形成;重点看 20.3B mixture、context-grounded synthesis、AWM rollout、SFT/RL 接力和数据消融缺口。
- Credit Without Ground Truth:最贴近长轨迹 credit assignment;重点看 executed replay、policy-supported counterfactual、measurability map 与 dose-matched training。
强烈候补:做环境自演化时换成 EnvHarness;做 self-training 测量时换成 Phantom Gains。
#五、今日最值得跟进的 3 个 repo / model / dataset
- Repo / Benchmark — Einsia/AI4AI-Bench:GitHub API 核验包含
tasks/、orchestrator/、tools/、license 与 pyproject;适合研究算法搜索、clean retrain 和 hidden evaluator。 - Repo — google-research/envharness:包含
envharness/、experiments/、rl/、scripts/、tests/,不是论文占位页;适合复现 environment component、EnvRigger 与 GRPO 环境对照。 - Dataset / Benchmark — OpenMOSS/SWE-bench-Science(代码):GitHub 已含 manifests、profiles、scripts、tests 与 HF 数据发布结构;适合做 scientific abstraction、knowledge grounding 与错误 anchoring。
额外推荐:MidTool release 是今天最值得跟进的数据/模型集合,但本次匿名 HTTP 请求返回 401,论文给出的 collection 链接可见性需要稍后复核;Repo0 与 phantom-gains 均已核验为有代码/测试/结果的实仓库。
#六、研究机会 / Idea
#Idea 1:Causal Credit Benchmark for Long-Horizon Code Agents
把 MileGPO 的低成本 rollout-graph credit 与 executed replay ground truth 合并:
- 在共享 repository checkpoint 上采样 sibling edits / tool actions;
- 用 sandbox 从 checkpoint 重放到 acceptance tests,得到真实 outcome shift;
- 对比 LLM judge、logprob、confidence、milestone、world-model counterfactual 的 causal fidelity;
- 训练时严格匹配 optimizer dose、被保留 token 数和 rollout budget;
- 测试 credit fidelity 能否预测真实训练收益,而不只预测 annotated correctness。
这能回答一个关键问题:哪类廉价 credit estimator 在什么 state/action regime 下,能逼近昂贵 executed counterfactual?
#Idea 2:Agent-Native Mid-Training Data Causal Accounting
围绕 MidTool 做可解释的数据能力归因,不只比较 final mixture:
- source technical text vs context-grounded QA/trajectory;
- API/MCP schema vs executable environment rollout;
- successful trajectory vs failed/recovery/branch trajectory;
- atomic tool call vs long workflow;
- exact/semantic dedup 强度、repo-level contamination 与 benchmark blacklist;
- 先测 affordance recognition、argument grounding、state tracking、recovery,再测 BFCL/τ2/MCP final success。
目标是得到“哪种数据塑造哪种 agent primitive”的 scaling map,为 agent 预训练数据配比提供机制解释。
#Idea 3:World-Model-Guided Environment Harness Co-Evolution
把 EnvHarness 从 LLM 生成 + fresh rollout 验证升级为 model-based curriculum optimization:
- world model 输入 policy failure trace、当前 harness 与能力 probe;
- action 是添加/修改 stage、contract、feedback、chain、tool availability;
- 预测 learner improvement、held-out transfer、reward-hacking 风险和环境成本;
- 用真实训练结果更新 environment-effect model;
- 对 OOD 略降等 negative transfer 设置安全约束。
这会把“Dreamer for LLM Agent”从预测环境 transition 扩展到预测 训练环境改动如何改变 learner。
#七、今日研究判断
今天最连贯的一条主线是:
自演化 Agent 的瓶颈已经不只是生成更多轨迹,而是能否严谨区分“真的改变了学习/能力/因果贡献”与“只改变了运行方式、测量噪声或模型自身偏好”。
- AI4AI-Bench 区分改 learning algorithm 与调 run;
- Phantom Gains 区分真实能力 transition 与 pipeline null;
- executed-replay audit 区分 step correctness / fluency 与 causal contribution;
- MidTool 追问 agent 能力应在什么训练阶段、由什么数据形成;
- EnvHarness 追问训练环境如何持续跟随 learner,而又不丢 verifier 与 OOD transfer;
- skill/memory 两条线则共同说明,保存更多历史并不等于能力更强,粒度、状态语义、supersession 与使用策略才是核心。
对 wenjun 当前主线,我最看好的交叉问题是:
建立一个“可测量的自演化 LLM Agent”闭环:agent-native mid-training 形成工具与 world-model primitives,programmable environment harness 生成能力边界任务,executed counterfactual 校准长轨迹 credit,所有能力获得/遗忘再通过 frozen measured null 审计。