每日调研 2026-07-22 ★★★★☆ dailyAILLMAgentCode IntelligenceResearch Briefing

#2026-07-22 AI/LLM 最新论文与研究热点简报

检索时间：2026-07-22 08:00 CST。主要覆盖 Hugging Face Daily Papers 2026-07-21/2026-07-20、arXiv 最近提交/更新、可访问的 GitHub/HF API。GitHub API 在后半段出现 rate limit，X/Twitter 未作为可靠来源使用；因此 repo 动态以论文 comment、HF/GitHub 可访问搜索结果为准。

#0. 今日判断：Agent 研究正在从“会调用工具”走向“可训练环境 + 可演化轨迹 + 可压缩上下文”

最近 24-48 小时最贴近 wenjun 方向的信号很集中：

  1. Model/world model for Agent 不再只是概念：DeepSearch-World、DSWorld、EvolvingWorld、API-calling synthetic data 都在把环境状态、工具响应、长轨迹世界演化显式建模，用来降低真实交互成本或制造可验证训练轨迹。
  2. Agentic RL 的瓶颈从 reward 设计扩展到优化器、advantage shaping、harness 设计：Muon for agentic RL、GEPO、CPO、RHI 分别从 optimizer、group entropy、token-level correctness、agent loop prompt 优化切入。
  3. 代码 Agent 的上下文管理正在内化到模型本身：SWE-Pruner Pro 的核心观点是“coder LLM already knows what to prune”，这比外挂 reranker/分类器更接近通用上下文压缩器。
  4. 预训练—后训练接口开始被系统研究：Understanding Reasoning from Pretraining to Post-Training 给出了一个可控 testbed，直接关联 wenjun 关心的“基础模型训练如何塑造后续 RL 能力”。

#1. 最值得关注的 5 条

#1. DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment

  • 链接：https://arxiv.org/abs/2607.07820
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-08，v2 更新 2026-07-13
  • 类别：LLM Agent / Tool-use / Post-training RL / Verifiable Environment
  • 一句话核心贡献：构造确定、可复现、可验证的 deep search 环境 DeepSearch-World，并用自蒸馏框架 DeepSearch-Evolve 让搜索 Agent 从自身轨迹中迭代变强。

为什么值得关注：它抓住了长程 web/search Agent 的关键矛盾：SFT 轨迹固定、稀疏 RL 信号弱。论文把 420K 多跳 QA 任务、可复现搜索/读页工具、progress verification、grounded reflection、failure recovery 组织成一个可训练环境，重点不是 benchmark 分数本身，而是“环境如何让自演化可规模化”。

与 wenjun 方向关系：这是 LLM Agent model-free/model-based RL 的桥梁案例。虽然它未必显式训练 world model，但通过 deterministic/verifiable environment 把长轨迹 credit assignment 变得可控；可作为 Dreamer-like LLM Agent 的外部环境雏形：先学会预测搜索状态/证据覆盖，再用 imagined rollouts 降低真实 search 成本。

#2. DSWorld: A Data Science World Model for Efficient Autonomous Agents

  • 链接：https://arxiv.org/abs/2607.15901
  • 来源/日期：Hugging Face Daily Papers 2026-07-20；arXiv 2026-07-17
  • 类别：Model-based RL / LLM Agent / World Model / Data Science Agent
  • 一句话核心贡献：提出 Data Science World Model，预测数据科学 workflow 的状态转移，并用 LLM simulator + cost-aware routing 加速 Agent 训练与搜索式推理。

为什么值得关注：这是今天最贴合 “Dreamer for LLM Agent” 的论文之一。它明确把数据科学环境状态转移作为建模对象，还提出 Reflective World Model Optimization，用错误感知 RL 改进 transition prediction。结果声称 RL-based agent training 约 14× 加速、search-based inference 约 3-6× 加速。

与 wenjun 方向关系：可直接启发“代码/数据科学 Agent 的 latent dynamics model”：状态不一定是完整日志，可以是结构化 workflow state；动作是候选操作；world model 预测执行后的 dataframe/schema/metric/error 状态。下一步问题是：能否把这个 state 表示压到 latent space，并在 latent 中做 planning/RL？

#3. SWE-Pruner Pro: The Coder LLM Already Knows What to Prune

  • 链接：https://arxiv.org/abs/2607.18213
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-20；项目页见论文 comment：<https://github.com/Ayanami1314/swe-pruner-pro>
  • 类别：Code Agent / Context Compression / Tool-use
  • 一句话核心贡献：利用 coder LLM 阅读工具输出时的内部表示，训练小 head 对每行 keep/prune，最多节省 39% token 且保持甚至提升多轮代码任务表现。

为什么值得关注：它把 context compression 从“外部模块判断文本相关性”推进到“模型内部状态暴露出上下文选择信号”。这对代码 Agent 尤其重要，因为工具输出长、噪声多、又必须保留关键错误栈/调用点。

与 wenjun 方向关系：这可以作为“通用上下文压缩器”的强 baseline：不要只训练外部 compressor，而是读出 agent hidden states 中的 relevance/uncertainty/plan-dependency 信号。进一步可研究：这些 prune labels 是否能通过 RL reward 端到端优化，而非静态监督？

#4. EvolvingWorld: An Open-Schema Framework for Co-Evolving Role-Play Agents and World Model in Interactive Literary World

  • 链接：https://arxiv.org/abs/2607.17250
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-19；HF dataset 搜索到 zongqing0068/EvolvingWorld 与 zongqing0068/EvolvingWorld-Books-Gutenberg
  • 类别：LLM Agent / World Model / Long-horizon Simulation
  • 一句话核心贡献：用 Character Agent + LLM World Model 在开放 schema 下维护角色、场景、地点、实体的长期演化，并构造 57 本书、138,596 条训练样本。

为什么值得关注：它把“世界模型”落到了可读写的实体/地点/角色状态上，而不是只做文本续写。长程 Agent 的核心难题之一是状态漂移与身份一致性，EvolvingWorld 用 trajectory-level judge 的 10 维/20 指标评估这一点。

与 wenjun 方向关系：这类文学世界不是代码环境，但非常适合研究“开放世界中的 latent state grounding”：哪些状态必须显式维护，哪些可以放在模型隐状态？对长轨迹 RL，可借鉴其 open-schema state update 作为 memory/world-state supervision。

#5. Understanding Reasoning from Pretraining to Post-Training

  • 链接：https://arxiv.org/abs/2607.16097
  • 来源/日期：Hugging Face Daily Papers 2026-07-20；arXiv 2026-07-17
  • 类别：Pretraining Data / Reasoning / Post-training RL / Training Mechanism
  • 一句话核心贡献：用 chess 作为可控 testbed 研究预训练 loss、预训练 tokens 与后续 RL 回报曲线的关系，并在 math-domain 1B 模型上验证类似趋势。

为什么值得关注：这篇的价值在于把“RL 到底教会了模型什么”拆成可实验问题。论文发现 post-RL 表现可由 pretraining loss 预测；更多预训练 tokens 让 RL reward 曲线斜率近似线性改善；RL 在简单题上放大 SFT 已偏好的正确动作，在难题上能挖出 SFT 下几乎不存在的正确动作。

与 wenjun 方向关系：这直接连接基础模型训练机制与后训练 RL。若 wenjun 做 Agent RL，可以问：agent 预训练数据中的哪些轨迹/环境覆盖度，决定了 RL 阶段的样本效率与可发现策略空间？

#2. 其他值得扫读的论文/动态

#Recursive Harness Self-Improvement

  • 链接：https://arxiv.org/abs/2607.15524
  • 来源/日期：Hugging Face Daily Papers 2026-07-20；arXiv 2026-07-17
  • 类别：LLM Agent / Harness / Self-improvement / Continual Learning
  • 作者：Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee 等
  • 一句话核心贡献：Recursive Harness Self-Improvement 把 harness 视为可迭代优化的 agent loop prompt，通过自身历史版本的 pairwise feedback 改善执行轨迹质量，低推理预算下超过高推理预算 baseline 且降本最高 60%。
  • 快速判断：Under model--harness co-evolution, harnesses are not merely inference-time scaffolds but data-generating components whose execution traces can shape future foundation models. This motivates harness-in-the-loop learning: optimizing harnesses for both immediate agent performance and the quality of traces used for future model training. However, continually upd……

#When Does Muon Help Agentic Reinforcement Learning?

  • 链接：https://arxiv.org/abs/2607.16169
  • 来源/日期：Hugging Face Daily Papers 2026-07-20；arXiv 2026-07-17，v2 2026-07-20
  • 类别：Agentic RL / Optimizer / Post-training RL
  • 作者：Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou 等
  • 一句话核心贡献：When Does Muon Help Agentic Reinforcement Learning? 在 ALFWorld 稀疏奖励 agentic RL 中比较 Muon 与 AdamW，发现 Muon 与 GiGPO/GraphGPO、学习率强耦合，部分设置大幅提升成功率和收敛速度。
  • 快速判断：Muon is competitive with AdamW in large-scale pre-training, but its value for reinforcement-learning (RL) post-training remains unclear. We study vanilla Muon in sparse-reward agentic RL through matched single-seed comparisons with AdamW on ALFWorld using Qwen2.5-0.5B-Instruct. Under Group-in-Group Policy Optimization (GiGPO), applying Muon only to hidden we……

#Group Entropy-Controlled Policy Optimization

  • 链接：https://arxiv.org/abs/2607.16850
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-18
  • 类别：Post-training RL / RLVR / Optimization
  • 作者：Guangran Cheng, Chengqi Lyu, Songyang Gao, Wenwei Zhang 等
  • 一句话核心贡献：GEPO 针对混合任务的 prompt group entropy 异质性，做 entropy-conditioned asymmetric advantage shaping，缓解 GRPO 风格归一化 advantage 的 entropy-dependent bias。
  • 快速判断：Entropy control has become an effective tool in reinforcement learning (RL) of large language models (LLMs), helping balance exploration-exploitation trade-off during alignment process. Such RL paradigm is often conducted on mixtures of heterogeneous tasks, which induce distinct entropy regimes under the same policy, making global or token-level entropy regu……

#LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks

  • 链接：https://arxiv.org/abs/2607.18110
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-20
  • 类别：Post-training RL / Non-verifiable Tasks / Feedback
  • 作者：Tianzhu Ye, Li Dong, Guanheng Chen, He Zhu 等
  • 一句话核心贡献：LLM-as-a-Coach 将 LLM-as-Judge 的文字反馈转成可迁移经验知识，用 on-policy context distillation 内化，给不可验证开放任务提供比标量 reward 更高带宽的学习信号。
  • 快速判断：Reinforcement learning (RL) on open-ended tasks compresses an LLM's rubric-based evaluation into a scalar reward, discarding rich textual feedback and conflating responses with distinct quality profiles. We propose Experiential Learning (EL), which repurposes the feedback model from an LLM-as-a-Judge into an LLM-as-a-Coach. The coach distills its assessment ……

#Distilled Reinforcement Learning for LLM Post-training

  • 链接：https://arxiv.org/abs/2607.17247
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-19
  • 类别：Post-training RL / Distillation / Reasoning
  • 作者：Chen Wang, Zhaochun Li, Jionghao Bai, Yining Zhang 等
  • 一句话核心贡献：Distilled RL 把教师监督并入 RL 目标，用 reverse importance sampling、negative sample reset 和 sequence-level geometric normalization 选择性转移知识，避免无条件模仿。
  • 快速判断：Large language model (LLM) post-training is essential for improving reasoning, adaptation, and alignment. Existing methods mainly follow two paradigms: reinforcement learning (RL) and on-policy distillation (OPD). However, RL relies on coarse-grained outcome supervision, resulting in difficult credit assignment and limited capability to acquire new knowledge……

#Understanding Reasoning from Pretraining to Post-Training

  • 链接：https://arxiv.org/abs/2607.16097
  • 来源/日期：Hugging Face Daily Papers 2026-07-20；arXiv 2026-07-17
  • 类别：Pretraining Data / Reasoning / Post-training RL
  • 作者：Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun 等
  • 一句话核心贡献：Understanding Reasoning from Pretraining to Post-Training 用 chess 控制试验连接预训练 loss、预训练 tokens 与 RL 回报曲线，发现 post-RL 性能可由预训练 loss 预测，且更长预训练让 RL 改进更快。
  • 快速判断：Reinforcement learning (RL) has become central to improving large language models (LLMs) on complex reasoning tasks, yet RL post-training is largely studied in isolation from the pretraining that precedes it. As a result, two basic questions remain open: (1) how do pretraining choices (model size, data) shape the returns to RL compute, and (2) what does RL a……

#On-Policy Delta Distillation

  • 链接：https://arxiv.org/abs/2607.15161
  • 来源/日期：Hugging Face Daily Papers 2026-07-20；arXiv 2026-07-16
  • 类别：Post-training RL / Distillation / Reasoning
  • 作者：Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han
  • 一句话核心贡献：On-Policy Delta Distillation 不直接模仿 teacher 分布，而模仿 teacher 相对其 base model 的“delta signal”，更直接迁移 reasoning tuning 带来的变化。
  • 快速判断：On-policy distillation is an alternative post-training method in reinforcement learning that alleviates the constraints imposed by reward models by providing token-level supervision from a teacher model. Although on-policy distillation has been studied and applied across various settings, its fundamental design remains underexplored. In this paper, we introd……

#Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

  • 链接：https://arxiv.org/abs/2607.14614
  • 来源/日期：Hugging Face Daily Papers 2026-07-20；arXiv 2026-07-16
  • 类别：Post-training RL / RLVR / Credit Assignment
  • 作者：Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li 等
  • 一句话核心贡献：CPO 用 reference-guided 与 vanilla generation 分布的 token-level contrastive disagreement 做 correctness-aware advantage shaping，试图替代纯 entropy shaping。
  • 快速判断：Reinforcement learning with verifiable rewards (RLVR) commonly uses entropy for advantage shaping. However, entropy cannot distinguish useful uncertainty from detrimental confusion, limiting its effectiveness as a correctness signal. We propose Contrastive Policy Optimization (CPO), which uses token-level contrastive disagreement between reference-guided and……

#Token-Level Off-Policy Learning for Faithful Generation Under Distribution Shift

  • 链接：https://arxiv.org/abs/2607.17524
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-20
  • 类别：Post-training / Faithful Generation / Token-level Learning
  • 作者：Zitong Huang, Gustavo Lucas Carvalho, Deqing Fu, Robin Jia
  • 一句话核心贡献：TOPL 将 off-policy post-training 改写为 token-level correctness prediction，在摘要与翻译分布外泛化上优于序列级与 token 级 baseline，并显示 LoRA adapter 可解释为分类头/steering vector。
  • 快速判断：We propose Token-Level Off-Policy Labeling (TOPL), an off-policy training paradigm that reframes post-training as a token-level correctness prediction task. Our key intuition is that by training the model to distinguish good and bad tokens in a response, we naturally guide the model towards generating good tokens, while avoiding the pitfalls that come with d……

#WorldCupArena: Fine-Grained Evaluation of Language Models and Deep-Research Agents on Football Forecasting

  • 链接：https://arxiv.org/abs/2607.18084
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-20
  • 类别：Evaluation / Deep Research Agent
  • 作者：Zhaokai Wang, Tianlin Gui, Jiayuan Rao, Shangzhe Di 等
  • 一句话核心贡献：WorldCupArena 用 2026 世界杯赛前预测做动态 benchmark，评估语言模型和 deep-research agent 在未知结果前的信息检索、预测与细粒度校准。
  • 快速判断：Predicting a football match before kickoff requires more than knowing past results: a model must use changing information and make a clear prediction before the answer is available. We present WorldCupArena, a dynamic benchmark for language models and deep-research agents. The 2026 FIFA World Cup is its first evaluation, and the same process can be reused fo……

#Self-State Attacks on Self-Hosted AI Agents: How Far Can OS Defenses Go?

  • 链接：https://arxiv.org/abs/2607.17986
  • 来源/日期：Hugging Face Daily Papers 2026-07-21；arXiv 2026-07-20
  • 类别：LLM Agent / Security / Self-hosted Agent
  • 作者：Yimeng Chen, Nathanaël Denis, Roberto Di Pietro, Jürgen Schmidhuber
  • 一句话核心贡献：Self-State Attacks 形式化自托管 Agent 读写自身 memory/config 带来的 self-state attack，并评估 OS 层访问控制、检测与恢复的边界。
  • 快速判断：Self-hosted AI agents read and write their own memory and configuration files to function. An agent may get compromised via corruption of its own state -- a compromise realized via legitimate OS system call invocation. We refer to this class of threats as self-state attacks. In this paper, we investigate the OS resilience to this class of attacks. Formally, ……

#3. 今日最值得精读的 3 篇

  1. DSWorld: A Data Science World Model for Efficient Autonomous Agents — 最贴合 model-based RL / Dreamer for LLM Agent；建议重点看 state construction、transition dataset、Reflective World Model Optimization。
  2. DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment — 最适合研究长程搜索 Agent 自演化；建议看任务构造、trajectory filtering、progress verification 与 failure recovery。
  3. Understanding Reasoning from Pretraining to Post-Training — 最适合思考“预训练数据/scale 如何决定 RL 收益”；建议把它的方法迁移到代码/Agent 环境。

备选精读：如果今天要看代码 Agent，上调 SWE-Pruner Pro；如果要看 RL optimizer，上调 When Does Muon Help Agentic Reinforcement Learning?。

#4. 今日最值得跟进的 3 个 repo/model/dataset

  1. DeepSearch-World — GitHub 搜索可见：<https://github.com/ornamentt/DeepSearch-World>；HF dataset 搜索可见 Ornamentt/deepsearch-world-data、Ornamentt/DeepSearch-World-Env。适合跟踪其 420K 任务池、可验证搜索环境、模型 release。
  2. SWE-Pruner Pro — 论文 comment 项目页：<https://github.com/Ayanami1314/swe-pruner-pro>；同作者旧版 Ayanami1314/swe-pruner GitHub 搜索显示已有较多关注。适合复现实测 token saving 与 SWE-Bench/Oolong 影响。
  3. EvolvingWorld dataset/code — GitHub 搜索可见：<https://github.com/HKUST-KnowComp/EvolvingWorld>；HF dataset 搜索可见 zongqing0068/EvolvingWorld 与 zongqing0068/EvolvingWorld-Books-Gutenberg。适合研究长轨迹 world state update 数据格式。

补充：RynnBrain 1.1 的 arXiv comment 给出项目、GitHub、HF collection（<https://github.com/alibaba-damo-academy/RynnBrain>），偏 embodied foundation model；若 wenjun 想看多模态/具身基础模型数据配方，可另开专题。

#5. 研究机会 / idea

#Idea 1：把 DSWorld 做成“代码 Agent Dreamer”

  • 问题：代码 Agent 的真实执行（测试、构建、搜索 repo）成本高，且长轨迹 reward 稀疏。
  • 可能方案：学习一个 repo/workflow latent dynamics model，输入当前 repo 摘要、测试状态、错误栈、候选 patch/action，预测下一状态（测试通过概率、错误类型、受影响文件、需要读取的信息）。
  • 关键实验：比较真实环境 RL、world-model imagined rollout、hybrid routing 三种训练成本与最终 SWE-Bench 类指标。

#Idea 2：从 SWE-Pruner Pro 扩展到“策略相关的上下文压缩”

  • 问题：现有压缩多按文本相关性裁剪，但 Agent 真正需要的是“对当前 plan / future action 有价值”的信息。
  • 可能方案：从 coder LLM hidden states 读出行级 keep/prune，再加入 RL 信号：若裁剪后导致错误 action 或回退，则惩罚 compressor；若节省 token 且保持成功，则奖励。
  • 关键实验：看 compressor 是否学到不同阶段的选择策略：定位 bug、编辑 patch、运行测试、解释失败时保留的信息是否不同。

#Idea 3：预训练轨迹覆盖度是否预测 Agentic RL 的样本效率？

  • 问题：Understanding Reasoning 说明预训练 loss/tokens 可预测 reasoning RL 收益；Agent 场景中对应变量是什么？
  • 可能方案：构造不同 agent pretraining corpora：只含 final answer、含 tool trace、含失败恢复、含环境状态更新；在同一 ALFWorld/Web/API/Code 环境做 RL，拟合预训练指标与 RL 曲线斜率。
  • 关键指标：RL 初始 success、reward curve slope、探索熵、失败恢复成功率、工具调用长度、context pruning 敏感性。

#6. 来源与访问说明

  • Hugging Face Daily Papers API：成功访问 2026-07-21 与 2026-07-20 列表。
  • arXiv：通过 Python arxiv client 获取元数据；arXiv export API 直接关键词检索一度返回 429，因此以 HF Daily Papers + arXiv ID 元数据为主。
  • GitHub：前半段可搜索到 DeepSearch-World、EvolvingWorld、SWE-Pruner Pro；后半段触发 API rate limit，因此没有继续扩大 repo 搜索。
  • X/Twitter：本次未作为可靠来源接入；未据此写入任何未验证动态。
鼠鼠研究站 · 自动整理调研 / 论文 / 历史主题