大模型Skill开发：词汇选择影响准确率
编辑点评 · AI 连续创业者视角（以下内容由 AI 提炼，观点归原作者；读完可不看原文）
这是一篇关于大模型Agent/Skill开发的方法论文章，核心发现是：仅将术语“漏洞”替换为“风险”，准确率从89.3%降至62.1%。对搞钱者意味着，如果你从事AI应用外包或自研，必须精细化Prompt工程并建立回归测试集，否则看似严谨的指令在LLM眼中可能完全失效。下一步可套用文中“结构化工作流+进度文件+穷举定义”三板斧优化现有AI自动化流程。
- 搭建回归测试集：用56个固定case验证prompt改动
- 设计进度文件：强制LLM回读状态，解决长任务遗忘
- 穷举边界案例：明确列出11种“非漏洞”场景防误判
- 拆解执行步骤：将任务分为6步强制依赖，禁止跳步
- 区分术语语义：避免用近义词替换导致逻辑约束失效
核心结论：换词可能导致准确率暴跌27%
大模型Agent开发中，词汇选择不是玄学，是硬约束。将代码审计Skill中的核心术语“漏洞”替换为“风险”，准确率从89.3%降至62.1%。这对做AI应用外包或自研的团队意味着：必须建立回归测试集，精细化Prompt工程，否则看似严谨的指令在LLM眼中可能完全失效。下一步可套用“结构化工作流+进度文件+穷举定义”三板斧优化现有流程。
为什么“漏洞”和“风险”会导致结果差异巨大？
在Claude Code + DeepSeek V3.2上对56个营销接口进行对比实验，两个Skill工作流、参考文件、工具链完全一致，唯一区别是核心术语。使用“漏洞”的biz-vul-security准确率为89.3%，使用“风险”的biz-risk-security仅为62.1%。关键在于，“漏洞”在安全领域有明确的边界约束，而“风险”语义更宽泛，导致大模型在“风险”约束下突破了原有定义边界，生成了定义文件中不存在的“代码逻辑错误”“参数校验不足”等问题，甚至误判营销接口的属性。这说明大模型对近义词的语义敏感度远高于人类预期，一个词的替换可能悄无声息地击穿精心设计的约束体系。
如何构建高质量的大模型Skill？
1. 结构化工作流：将任务拆解为6个强制依赖步骤，如Progress文件创建、链路追踪分析、参数流向分析等。明确规定“STEP1-6步不能跳过或者忽略任意一个STEP，违反得重新从头执行”。本质是为大模型铺设确定性“执行跑道”，避免其自行偏离。
2. “校验→执行→验证”三阶段机制：每个STEP内部细化为前置校验（读取进度文件确认上一步完成）、执行过程（记录命令、写入分析结果）、后置校验（回读进度文件验证结论写入）。通过强制回读机制，为大模型构建外部记忆系统，解决长任务遗忘问题。
3. 穷举边界案例：在vul_definitions.md中通过穷举方式精确定义“什么构成漏洞、什么不构成漏洞”。例如列举11个“无漏洞场景”，明确campId等关键参数从配置获取即非外部可控。提供9个完整判定示例（Few-shot），展示输入→分析→输出完整链条。用“以下三种情况容易被误判为X，正确判定应为Y”代替模糊表述。
怎么用它赚钱
路径1：AI应用外包审计服务。针对缺乏大模型开发经验的中小企业，提供Skill开发与回归测试服务。按项目收费，单个Skill开发+测试成本约2-3人天，市场价5000-10000元/个。第一步：整理56个固定case作为回归测试集，向客户展示“换词导致准确率波动”的实证，证明专业价值。
路径2：Prompt工程咨询。面向已建立AI工作流但效果不佳的团队，提供语义陷阱排查与优化服务。按小时收费，200-500元/小时。第一步：开发一个“语义敏感度测试工具”，输入任意Prompt可自动识别近义替换风险点，作为获客引流工具。
原文 · SUMSEC：阅读原文 →