Harness税实测：同模型换壳成本差5倍，成功率仅差1.1%
编辑点评 · AI 连续创业者视角（以下内容由 AI 提炼，观点归原作者；读完可不看原文）
UC Berkeley团队实测7个模型在3种Agent外壳下的表现，发现成本差异可达5倍（如Claude Code vs Pi），但成功率仅差1.1个百分点（97.8% vs 96.7%），核心原因并非步数增加，而是固定上下文开销（A·实测）。对搞钱者而言，这意味着盲目默认使用厂商完整外壳（如Claude Code）正在为用不到的容量付费；下一步动作是立即用最薄壳（如Pi）与默认壳对比20-50个真实任务成本，优先将稳定前缀存入缓存以摊薄固定开销。
- 跑20-50个内部任务对比薄壳与默认壳总成本
- 将System Prompt与工具定义固定为缓存前缀
- 监控首次调用Input Token数以识别固定开销
- 每季度复核Harness配置随模型迭代是否过重
- 避免将“最高5倍”误读为“平均5倍”从而决策偏差
一、这是什么机会
针对使用编码Agent的团队，提供“Harness优化”服务。核心价值是帮客户把默认重型外壳（如Claude Code）换成轻量外壳（如Pi）并配置好缓存，从而在保持成功率基本不变的前提下，大幅降低单次任务成本。收费模式可以是咨询费或节省成本的分成。
二、独立判断
值得做，且窗口期短。UC Berkeley实测显示，同模型换壳成本差可达5倍（如GPT-5.6 Luna在Claude Code vs Pi），但成功率仅差1.1%。多数团队盲目使用厂商完整外壳，正在为用不到的容量付费。这是一个明确的降本增效痛点，且具备技术壁垒（需理解上下文组装与缓存机制）。
三、冷启动路径
第一步：选取20-50个真实业务任务，分别用最薄壳（Pi）与默认壳（Claude Code）跑对比，记录总成本与成功率。成本预估：主要消耗API费用，约$50-$200；周期1周。若成本差超过30%且成功率下降不超过2%，即具备推广条件。
四、最大风险与避坑
致命坑1：误判“最高5倍”为“平均5倍”。实际普遍值是几何均值2.0x/1.6x/1.5x，需在报价前基于客户具体任务实测。应对：坚持先跑POC再签约。致命坑2：模型迭代导致旧配置失效。每代模型能力增强，旧harness的“补丁”可能变成“包袱”。应对：每季度复核一次harness配置，建立动态调整机制。
五、案例复盘（别人怎么做的）
- 做了什么：UC Berkeley团队构建21组测试矩阵（7模型x3外壳），在SWE-bench Lite与Terminal-Bench 2.0上各抽30题，每题跑3次。
- 关键数据：Claude Fable 5在Claude Code里解掉97.8%题目，成本$1.33/次；在Pi里解掉96.7%，成本$0.67/次。成本翻倍，成功率仅差1.1个点。
- 获客/验证逻辑：通过公开基准测试证明“壳”的影响远大于行业认知，确立“模型+壳”双选逻辑，吸引对成本敏感的技术团队。
- 踩坑警示：中文圈转述常把“最高5倍”写成“平均5倍”，导致决策偏差。实际操作中必须区分“个案极值”与“几何均值”。
- 具体动作：开发者Josh Owens实测发现，仅通过修改CLAUDE_CONFIG_DIR指向干净目录，单次调用成本从$0.18降至$0.041，但仍有15k固定开销无法通过配置文件消除，需换壳才能根除。
六、双轨可执行性
跨境：可行。目标客户为海外SaaS团队或外包公司，主打“Lowering LLM Spend”服务，通过GitHub开源对比脚本获客，再提供定制化咨询。国内：可行。针对国内使用海外API的团队或寻求降本的大厂AI部门，提供内部harness精简审计服务，强调合规与成本控制。
原文 · 清霜之辰：阅读原文 →
相关工具推荐（推广）：GLM Coding Plan — AI Coding Powered by G…
