Harness 工程:当 Agent 学会装上底盘、悬挂、刹车和精密仪表盘

3037 字
15 分钟
Harness 工程:当 Agent 学会装上底盘、悬挂、刹车和精密仪表盘

2026-08-17 Harness 工程:当 Agent 学会”装上底盘、悬挂、刹车和精密仪表盘”#

今日主题:拆解 CMU/耶鲁/亚马逊联合综述,理解 Agent 的七层工程架构——为什么 2026 年必须谈 Harness,以及不改模型如何提升 10 倍性能。

🎯 为什么选这个主题#

8-14 我们学了协议标准化(MCP/A2A/ACP/ANP),解决了 Agent 之间”怎么说话”的问题。但协议只是横向互联的管道——谁来管执行环境、谁来管生命周期、谁来管可观测性? 这些纵向封装的工程层,正是 Harness 要回答的问题。

如果把大模型比作引擎,Harness 就是底盘、悬挂、刹车和精密仪表盘。没有 Harness 的 Agent,就像一台裸装引擎——功率再大,也上不了路。

2026 年 5 月,CMU、耶鲁、亚马逊联合发布 Harness 综述,提出了 ETCLOVG 七层架构和约束绑定假说,给出了一个硬核量化结论:不改模型,仅优化 Harness 就能提升 10 倍性能。这值得深挖。


📌 核心要点一:范式跃迁——从 Prompt Eng 到 Harness Eng#

阶段时间核心信念典型做法
Prompt Engineering2022-2024模型万能,只需会问Chain-of-Thought、Few-shot、角色扮演
Context Engineering2025模型不够好,但上下文可以救RAG、长上下文、记忆管理
Harness Engineering2026模型只是引擎,Harness 才是车执行沙箱、工具协议、生命周期钩子、可观测、治理

为什么 2026 必须谈 Harness?

  1. 模型能力天花板上移,但可靠性天花板没跟上——GPT-5.2 能写代码,但 52.8% 的 SWE-bench 通过率意味着近半任务失败,问题不在模型本身,而在周围的工程层
  2. Agent 从”对话”走向”行动”——行动需要执行环境、权限边界、错误恢复,这些全是 Harness 的活
  3. 行业共识正在形成——CMU/耶鲁/亚马逊的综述不是孤例,微软的 AI Agent 可观测性实践、Agent Skills 方法论、全栈架构文章都在从不同角度逼近同一个结论

💡 关键洞察:Harness 不是”给模型打补丁”,而是”把模型装进一个工程系统”。这是从”调参”到”系统工程”的范式跃迁。


📌 核心要点二:ETCLOVG 七层架构#

综述提出的七层架构,是理解 Harness 最清晰的框架:

┌─────────────────────────────────────────┐
│ G - Governance 治理层 │ ← 成本控制、权限、审计
├─────────────────────────────────────────┤
│ V - Verification 验证层 │ ← 输出校验、安全检查
├─────────────────────────────────────────┤
│ O - Observability 可观测层 │ ← Trace、Metric、Log
├─────────────────────────────────────────┤
│ L - Lifecycle 生命周期层 │ ← 初始化、暂停、恢复、终止
├─────────────────────────────────────────┤
│ C - Context 上下文/记忆层 │ ← 短期记忆、长期记忆、检索
├─────────────────────────────────────────┤
│ T - Tool 工具/协议层 │ ← MCP、Function Call、沙箱
├─────────────────────────────────────────┤
│ E - Execution 执行环境层 │ ← Docker、VM、Serverless
└─────────────────────────────────────────┘
层级核心职责典型实现与已学内容的联系
E - 执行环境隔离运行、资源限制Docker、Firecracker、E2B8-11 Coding Agent 的沙箱隔离
T - 工具协议工具注册、调用、结果解析MCP、Function Calling8-06 MCP 协议、8-14 协议标准化
C - 上下文记忆上下文窗口管理、检索增强RAG、向量数据库7-24 记忆、7-28 Context Eng、8-12 RAG
L - 生命周期状态机管理、钩子回调Preflight/Postflight hooks8-10 异步架构的状态管理
O - 可观测全链路追踪、指标监控OpenTelemetry、LangFuse7-30/7-31 评估、8-13 产品设计
V - 验证输出校验、安全护栏Schema 验证、Guardrails8-05 安全、8-07 HITL
G - 治理成本控制、权限、审计RBAC、Budget Cap8-13 产品设计、8-05 安全

💡 跨层不可能三角:综述指出,在 ETCLOVG 中,性能、安全性、成本三者不可能同时最优——增加验证层提升安全性但增加延迟,优化执行环境提升性能但增加成本。这是工程决策,不是技术问题。


📌 核心要点三:约束绑定假说 + 量化数据#

约束绑定假说(Constraint Binding Hypothesis)是综述最核心的论断:

Agent 的性能主要由其 Harness 中的约束绑定质量决定,而非模型本身的原始能力。

换句话说:给同一个模型装不同的 Harness,性能差异可以达到 10 倍。

量化证据#

实验模型基线Harness 优化后提升
SWE-benchGPT-5.2-Codex52.8%66.5%+13.7pp
通用 Agent 任务GPT-4o基线10x10 倍
多步推理Claude 3.5基线3-5x3-5 倍

“10 倍”怎么来的? 不是改模型参数,而是:

  1. 结构化工具协议(T 层):减少 60% 的工具调用失败
  2. 上下文压缩与检索(C 层):减少 50% 的无关信息注入
  3. 生命周期钩子(L 层):自动重试 + 降级,减少 40% 的任务中断
  4. 可观测反馈闭环(O 层):基于 Trace 数据优化 Prompt,持续提升

GPT-5.2-Codex 的 52.8% → 66.5% 更有说服力:固定模型,仅优化 Harness 的 E/T/C/L 四层,SWE-bench 通过率提升 13.7 个百分点——这相当于从”及格线”到”可用线”的质变。


📌 核心要点四:Harness vs 智能体工程——骨架与灵魂#

综述提出的核心公式:

Agent = Model + Harness

但另一篇笔记(“Harness 工程与智能体工程”)提出了更精细的区分:

维度Harness 工程智能体工程
比喻骨架、底盘、仪表盘灵魂、驾驶策略、目的地选择
关注点让 Agent 能跑起来让 Agent 跑对方向
核心问题怎么执行?怎么恢复?怎么观测?什么时候该做什么?怎么规划?怎么协作?
典型技术沙箱、MCP、Hook、TracePlanning、Multi-Agent、HITL、Skill
成熟度工程化程度高,可量化仍以经验为主,难以量化

两者不是替代关系,而是互补关系:

  • 没有 Harness 的智能体 = 有想法但无法执行的空谈
  • 没有智能体工程的 Harness = 能跑但不知道往哪跑的机器

💡 这与 8-04 Planning 的联系特别紧密:Planning 是”灵魂”的核心能力,而 Harness 是让 Planning 能落地的”骨架”。


📌 核心要点五:四类风险陷阱 + 五条铁律#

四类风险陷阱#

风险典型表现根因对应层
盲目完全自主Agent 无限循环、越权操作缺少 HITL 和约束G/V
上下文管理失效上下文溢出、信息丢失窗口管理不当C
可观测性缺失”Agent 在干嘛?不知道”没有全链路 TraceO
治理与成本失控API 账单爆炸、权限越级缺少 Budget Cap 和 RBACG

五条工程化铁律#

  1. HITL(Human-in-the-Loop)不可省 → 与 8-07 HITL 直接呼应
  2. 结构化协议优于自由文本 → 与 8-14 协议标准化直接呼应
  3. 全链路追踪是底线 → 与 7-30/7-31 评估直接呼应
  4. 安全是第一性原理,不是附加项 → 与 8-05 安全直接呼应
  5. 渐进式部署,拒绝 Big Bang → 与 8-10 异步架构的灰度发布直接呼应

💡 微软的可观测性实践给出了更具体的操作指南:基准驱动选模型 → 持续评估 → CI/CD 集成 → AI 红队测试 → 生产监控。这五步恰好覆盖了 ETCLOVG 的 O/V/G 三层。


🔄 分歧与讨论#

分歧一:Harness 到底是”工程”还是”架构”?#

  • 工程派(综述):Harness 是可量化、可测试、可迭代的工程系统,有明确的指标(延迟、成本、成功率)
  • 架构派(全栈架构文章):Harness 是架构决策,核心是”选择什么组合”而非”优化什么指标”

我的判断:两者都对。选型是架构问题,落地是工程问题。2026 年的 Harness 领域,架构选型已初步收敛(MCP + Docker + OpenTelemetry 成为主流组合),工程优化才是拉开差距的关键。

分歧二:约束绑定假说的”10 倍”是否可信?#

  • 支持方:综述的实验数据(GPT-5.2-Codex 52.8%→66.5%)是硬证据
  • 反对方:10 倍提升来自特定任务场景(工具密集型),不代表通用场景;且基线可能故意设低

我的判断:10 倍的绝对值需要打折扣,但方向是对的——Harness 优化的边际收益远大于模型优化的边际收益,这一点无需质疑。关键是要理解”10 倍”来自多个小优化的叠加(减少失败 × 减少噪声 × 自动恢复 × 反馈闭环),而非单一银弹。


🔗 与已学内容的联系#

已学主题与 Harness 的联系
7-23 架构演进Harness 是架构演进的最新形态——从单体到微服务到 Agent,每一步都在增加”工程层”
7-24 记忆Harness 的 C 层(上下文/记忆)直接对应记忆系统,短期记忆 = Context Window,长期记忆 = 向量数据库
7-27 SkillSkill 是 Harness 的”插件”——通过 T 层注册工具,通过 L 层管理生命周期
7-28 Context EngContext Eng 是 Harness 的子集——C 层的上下文管理,但 Harness 还包括 E/T/L/O/V/G
7-29 Multi-AgentMulti-Agent 需要 Harness 的 G 层治理——谁有权限、谁承担成本、谁审计结果
7-30/7-31 评估评估是 Harness O 层的闭环——没有 Trace 数据,评估无从谈起
8-04 PlanningPlanning 是”灵魂”,Harness 是”骨架”——Planning 决定方向,Harness 决定能不能到
8-06 MCPMCP 是 Harness T 层的标准协议——工具注册、调用、结果解析的统一接口
8-07 HITLHITL 是 Harness V/G 层的核心机制——人类审批是最高优先级的约束
8-10 异步架构异步架构是 Harness L 层的实现方式——长时间运行的任务需要状态机管理
8-11 Coding AgentCoding Agent 是 Harness 最典型的应用场景——E 层沙箱 + T 层工具 + L 层生命周期
8-13 产品设计产品设计是 Harness G 层的输入——用户需求决定治理策略
8-14 协议标准化协议是 Harness T 层的基石——MCP/A2A/ACP/ANP 都是工具协议的标准化

📌 一句话收口:前 16 天学的散件(协议、记忆、工具、沙箱、可观测、评估、安全),今天终于有了统一的”安装框架”——Harness 就是那个把所有散件拧成一台车的工程层。


🤔 思考题#

  1. 审计题:如果你负责审计一个 Agent 系统,你会从 ETCLOVG 哪一层开始?为什么?哪一层最容易被忽视?
  2. 约束绑定复现题:综述说”不改模型,仅优化 Harness 提升 10 倍”。如果让你设计一个实验来验证这个结论,你会选择什么任务?固定什么变量?改变什么变量?用什么指标?
  3. 辩论题:Harness 绑定越强,Agent 越可靠但也越不灵活。过度约束的 Harness 和过度精简的 Harness,哪个更危险? 请分别给出一个灾难场景。
  4. 趋势预测题:如果 2027 年 Harness 工程进一步成熟,你认为 ETCLOVG 七层中哪一层会被”合并”或”消失”?为什么?

🛠️ 行动项#

  1. OpenTelemetry 全链路 Trace 实操:给一个现有的 Agent(可以是 Coding Agent 或自定义 Agent)接入 OpenTelemetry,记录至少 3 层(Execution → Tool → Context)的 Trace,观察哪些环节最耗时、最容易失败。
  2. 4 类生命周期钩子实现:在任意 Agent 框架中实现 4 类钩子——Preflight(任务前校验)、In-flight(运行中监控)、Postflight(任务后清理)、Error-flight(错误恢复)。记录每个钩子的触发频率和效果。

📚 参考文章#

  1. Harness 综述(CMU/耶鲁/亚马逊,2026-05-22)— 提出 ETCLOVG 七层架构、约束绑定假说、量化数据
  2. Harness 工程与智能体工程 — 核心公式 Agent = Model + Harness、四层架构、四大风险陷阱、五条铁律
  3. 微软 AI Agent 5 大可观测性最佳实践(2025-08-27)— Azure AI Foundry 统一方案、5 大实践
  4. Agent Skills 三位一体方法论 — 七阶段闭环生命周期、五层协同纵深防御治理、规模化协作数据
  5. 一文看懂 AI Agent 全栈架构 — 六层闭环视角、工程落地四阶段清单

📅 2026-08-17 | 第 17 篇每日学习笔记

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

Harness 工程:当 Agent 学会装上底盘、悬挂、刹车和精密仪表盘
https://www.zgf.me/posts/2026-08-17-harness-工程当-agent/
作者
赵某人
发布于
2026-08-17
许可协议
CC BY-NC-SA 4.0

评论区

Profile Image of the Author
赵某人
俯视泥土,仰望星辰
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
28
分类
1
标签
58
总字数
129,420
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
Local
博客版本
Firefly v6.14.5
文章许可
CC BY-NC-SA 4.0