要点 1｜理论框架：主动推理 + 闭环进化 + 分层认知#

AI Agent 自我进化的理论根基是主动推理（Active Inference）——以”最小化自由能”为统一原则，将感知、学习、行动三者通过期望自由能（EFE）形式化平衡。

三大理论支柱：

关键技术机制：

• 反事实推理：不仅规划如何达成目标，还模拟不同行动导致的不同未来观测，评估对模型参数的信念更新
• 动态课程学习：任务难度与 Agent 当前能力动态匹配，避免过难停滞或过易低效
• 内在动机驱动：认知价值（探索隐藏状态）+ 新颖性（KL 散度最大化驱动对模型本身学习）+ 实用价值（先验偏好目标）

行业落地：金融（贝叶斯滤波、ShieldAgent）、医疗（清华 Agent Hospital 数天完成 2-3 年病例量）、工业（具身智能+Agentic AI）、游戏（DeepMind AlphaEvolve 进化出超越人类设计的算法）、自动驾驶（影子模式 + 反事实联合规划）。

关键挑战：对抗 Goodhart 定律、防止灾难性遗忘、突破”部署后静态冻结”。

趋势研判：2026-2027 系统化（AgentOS 成主流）→ 2028-2030 泛在自主智能（智能体网格 + A2A 协议标准化）。

要点 2｜前沿突破：Meta Dr.Zero 零数据自进化#

来源：Meta 超级智能实验室 × UIUC《Dr.Zero》论文

核心痛点：现有的”无数据自进化”方法严重依赖人类精心编写的提示驱动探索；一旦进入开放领域，模型倾向于生成简单单跳问题，多步推理+工具使用计算开销巨大。

Dr.Zero 三大创新：

1. 提议者-解决者协同进化（Proposer-Solver Co-Evolution）
   • 提议者：生成多样化、复杂、可验证的查询，并主动用搜索引擎探索开放领域
   • 解决者：基于合成问题训练，优化推理逻辑和搜索工具使用
   • 共生反馈：解决者能力提升 → 简单查询回报递减 → 提议者被迫生成更复杂问题
2. 跳步分组相对策略优化（HRPO）
   • 传统 GRPO 需对同一提示生成多个问题做”嵌套采样”，计算量巨大
   • HRPO 创新：按”推理跳数”聚类结构相似问题，每个提示只生成单个问题，与同组对比即可获得稳健评估
   • 结果：直接避免昂贵嵌套采样，大幅降低计算成本
3. 难度引导奖励机制
   • 激励生成多跳、有挑战但可验证的查询
   • 必须确保答案可通过搜索引擎返回信息客观验证

实验结果：

规模效应：7B 模型在 2WikiMQA 多跳推理数据集上提升尤为显著（+7.67%），证明框架可扩展性。

启示：数据稀缺场景下的自进化有了新范式——通过”提议者-解决者共生”形成无数据螺旋上升，且用聚类优化大幅降本。

要点 3｜工程范式：Agent Lightning 训练-业务解耦#

来源：微软亚洲研究院（MSRA）开源项目

核心设计哲学：训练逻辑不能和 Agent 业务逻辑绑在一起。

Training-Agent Disaggregation 架构：

零侵入亮点：

• 已支持或可接入：LangChain、AutoGen、OpenAI Agent SDK、CrewAI、纯 Python Agent
• 业务代码无需重构
• 从 LangChain 切到 AutoGen，只需把 Client 几行代码挪过去，Server 端训练逻辑零改动

两大关键能力：

1. 信用分配（Credit Assignment）：自动判断多步任务中是哪一步动作导致最终失败（SQL Agent 第 2 步 schema 选错？第 5 步 join 逻辑炸了？）
2. 复杂场景适配：明确优化 Tool-use、多轮对话、多 Agent 协作、长链路推理

集成四步：

1. 部署 Server（Docker / GitHub pip install）
2. 初始化 Client（指定 Server 地址、定义任务空间）
3. 数据轨迹记录（State / Action / Reward）
4. 启动异步训练（自动构建样本 → PPO/DPO 微调 → 热更新权重到生产）

适用场景：

• Text-to-SQL：减少”能跑但不对”的 SQL
• 数学/代码 Agent：提升多步推理稳定性
• RAG Agent：学会”什么时候该检索”+“检索什么更有价值”

注意事项：Reward 质量决定优化效果（建议从二元成功/失败开始）；Server 需配 A100/H100。

启示：用”黑匣子+中枢”的解耦设计，把训练从一次性工程改造升级为持续可插拔的能力，把”Prompt 改完就僵”变成”系统越用越聪明”。

要点 4｜开源实践：Hermes Agent 双路径自进化#

来源：Nous Research 开源项目

Hermes 的核心突破是把自进化拆成”内外双轮驱动”：

动态 Skill 沉淀机制：

• 技能催促计数器：_iters_since_skill 记录距上次使用 skill_manage 工具的轮数，_skill_nudge_interval=10 触发主动提醒
• 三维后台审查：主 Agent 完成后异步 Fork 审查 Agent
  • _MEMORY_REVIEW_PROMPT → 提炼长期记忆
  • _SKILL_REVIEW_PROMPT → 抽象通用任务路径生成 Skill 文件
  • _COMBINED_REVIEW_PROMPT → 综合反思优化空间
• 设计亮点：前台即时响应、后台异步进化、用户无感

RL 训练闭环四阶段：

1
任务定义 → 轨迹捕获与数据合成（Claude Opus 4.6 as Teacher） → 渐进式训练（GRPO 算法） → 自动评估

GRPO 奖励函数设计（来自 DeepSeek R1）：

• 正确性权重 2.0（最高）
• 格式规范 0.5
• 渐进格式 0~0.5（部分符合也给分）
• 黄金法则：组合 3~5 个奖励函数，权重要合理，先单独测试再合并

工程化三大维度：

Agent 发展阶段类比：

1
早期 Agent（被动式）→ 自主 Agent（OpenClaw/Claude Code）→ 自进化 Agent（Hermes）
2
  一问一答                自主规划执行                    执行中学习、学中变强

启示：打通”任务执行 → 经验记录 → Skill 抽象 → 模型再训练”完整数据链路，外挂纠错 + 内化能力双轮驱动。

要点 5｜企业平台：AgentLoop 经验自进化闭环#

来源：阿里云 AgentLoop

核心理念：原始 Trace 不天然等于经验，必须经过清洗、组装、挖掘才能形成可召回、可复用的结构化经验。自进化不修改模型权重，而是在模型通用能力之外构建可持续更新的经验系统。

核心架构：Trace → Trajectory → 经验：

顶层闭环：观测 → 分析 → 优化 → 再验证（让每次运行都为下次提供经验证的优化依据）

落地四步：

1. AgentLoop 控制台创建经验库（必填：名称/提取 Agent/起始时间）
2. 创建访问凭证（API Key 推荐，AK/SK 适合统一身份治理）
3. 安装 Recall Skill + 复制配置（Node.js ≥ 18，前置：Agent 已接入 Trace）
4. 验证召回（建议查询包含具体产品/错误信息/Request ID）

关键指标（与传统思路的关键差异）：

• ❌ 不应只看：单次调用是否成功、单次 Token 消耗
• ✅ 应该看：平均任务成功率 + 质量下限 + 运行波动 + 每成功任务综合成本

Bench 验证结果：

与其他能力的关系（一句话区分）：

Memory 让 Agent 记得过去，RAG 让 Agent 找到知识，Workflow 提供固定流程，Skill 让 Agent 获得能力，微调和 RL 改变模型本身，而经验自进化让 Agent 在当前任务中复用真实执行验证过的方法。

跨 Agent / 跨模型共享：经验库位于模型之外，通过运行时检索和上下文注入生效——可服务不同模型与框架、可按任务动态召回、可快速更新（不必重新训练）、可按团队/权限隔离。

启示：经验库是介于”完全不改”（Prompt Engineering）和”完全重训”（Fine-tuning/RL）之间的”中间层优化能力”——更新快、迁移易、可按业务调优。