亚马逊换小模型省98%成本
编辑点评 · AI 连续创业者视角（以下内容由 AI 提炼，观点归原作者；读完可不看原文）
亚马逊工单分类弃用大模型，改用轻量决策模型（A·实测）。成本降98%，单次处理快78%。对搞钱者：固定标签场景可用小模型降本，避开无效的大模型开销。
- 固定标签分类优先试轻量模型
- 大模型仅用于需解释或动态标签
- 部署前实测延迟与成本拐点
- 固定JSON键序避免概率漂移
- 保留双跑开关便于快速回退
原文全文（已完整内嵌，无需跳转外网）
Amazon 用决策模型给工单分类 Amazon 两名工程师把内部工单系统中的 Claude Sonnet 4.6，换成了 Strands Decider 决策模型。团队称，新方案在这项分类任务上表现相当，模型成本降低约 98%，预计一年可省下数百万美元。这里替换的是固定标签选择，不是通用聊天或复杂写作。 原系统处理客户升级请求、容量申请、自动告警、安全发现等工单，要从 20 类标签中选择。Sonnet 每次读取较长系统提示，再生成 JSON。决策模型不生成解释文字，只接收状态、问题和选项，返回各选项的概率及置信度，刚好适合这类任务。 团队先试用 Strands Decider 2B，发现基于 Gemma 4 的 E4B 版本在测试集上更好，便改用它并调整贴标签所需的置信度门槛。文中称，E4B 在另一组工单上超过生产中的 Sonnet，但未给出具体准确率。模型部署在 SageMaker 的 ml.g5.xlarge 实例，每台配一张 24 GB A10G，约占 19 GiB 显存，单实例一次请求约 640 毫秒，容器禁止向外联网。 切换前，他们给分类程序加了三档开关：只用 Sonnet、两者并行但仍采用 Sonnet 结果、只用 Decider。并行阶段在真实流量上逐项检查分歧；如果需要回退，修改配置约 45 秒即可完成。 实测平均调用时间从 4,215 毫秒降至 897 毫秒，减少 78%；切断 Sonnet 当天，Lambda 平均执行时长下降 74%。每张工单的输入、输出 token 总数从 6,724 降至 2,010。模型输出只剩一个选择，提示也被压短：20 类标签各改成一两句标准，再加一个“均不适用”选项。由于上下文窗口只有 4,096 token，长工单会丢弃最早的评论。 按美国东部区域公开按需价，原方案每百万工单约 22,200 美元，新方案实际约 500 美元，约便宜 44 倍。后者取决于实例利用率：完全跑满约为 250 美元，但团队留出了突发流量余量。这些都是公开标价，未计入 Lambda 费用；新方案的 Lambda 运行时间也更短。 一次意外是，把同一份 JSON 的键换个顺序，输出概率最多能变动 0.19。团队因此固定按键排序，提醒部署者在比较结果前先检查这一点。 他们把适用条件说得很窄：标签固定、量大、旧流程延迟明显。如果必须解释选择、标签目录每周变化，或有效上下文塞不进几千个 token，决策模型可能无法接替。对他们而言，真实流量双跑和可快速回退的开关，也和更换模型一样重要。 https://strandsagents.com/blog/amazon-saves-millions-replacing-sonnet-with-strands-decider/ Strands Agents Amazon saves millions by replacing Sonnet 4.6 with Strands Decider Two Amazon engineers swapped Claude Sonnet 4.6 for a decision model in one of the world& ;s biggest internal ticketing systems.
（原文源 Levix 空间站 - Telegram Channel 国内不可直接访问；上文已内嵌原文全文）
