AI工程化：告别Prompt幻觉，构建确定性基础设施

AI 总结 · 连续创业者视角（以下内容由 AI 提炼，观点归原作者；读完可不看原文）

O1/o3类推理模型让AI开发从“喂上下文”转向“计算预算规划”，但单纯扩Context Window会触发“迷失中间”效应。作者提出用GraphRAG（语义图）替代向量搜索，以及用事件驱动的状态机总线替代Agent群聊，实现事务级回滚与确定性路由。适合正在构建企业级AI应用、受困于解析错误和语义漂移的工程师与产品负责人。

• 用GraphRAG替代向量检索，将代码解析为语义图…
• 实施Compute Budgeting…
• 引入语义数据总线：Agent间通过发布验证事件通信…
• 采用Saga模式保障事务完整性：一旦某环节失败…

AI 开发正在经历从“喂上下文”到“计算预算规划”的范式转移。过去两年，企业级 AI 应用陷入了级联解析错误、语义漂移和缺乏事务完整性的危机。随着 o1/o3 类推理模型的崛起，单纯依赖“Prompt 和运气”的时代终结，工程师必须构建确定性的基础设施。

一、推理时间扩展：为“思考”付费，而非 Token

行业正从“训练时扩展”转向“推理时扩展”。模型不再是静态输出答案，而是分配一个“计算预算”让它先“思考”再行动。这改变了开发的单位经济模型：从“每百万 Token 成本”转向“任务成功执行的成本”。

核心能力：计算预算规划（Compute Budgeting）

• 异步深度思考：忽略延迟以换取质量，适用于代码审计、科学计算。
• 实时即时响应：使用 8B–14B 参数的确定性筛选小型语言模型（SLM）。

架构师的关键任务是为每个业务操作编程“认知限制”，而非仅仅编写提示词。

二、Context Window 的迷思：GraphRAG 替代向量搜索

相信大上下文窗口能解决“记忆”问题是危险的幻觉。线性扩展不仅损害预算，还会触发“迷失中间”效应——模型会对数据数组中间的信息“视而不见”。

解决方案：GraphRAG（语义图）

• 节点（Entities）：函数和类型。
• 边（Relations）：因果关系链接（CALLS, RETURNS, CAUSED_BY）。

将 LLM 视为处理器，将图视为其“硬盘”。与其注入 100,000 Token 的噪声，不如只传递 1,500 Token 的高精度连接。这是用架构精度替代概率。

三、语义数据总线：终结 Agent “群聊”时代

LangChain 或 CrewAI 的主要缺陷是将 AI 团队协作建模为“群聊”，通过文本传递任务会导致不可控的熵增。构建工业系统需引入语义数据总线：

• 事件驱动状态机：Agent 不以“语言”通信，而是向中央注册表发布验证事件（如 TASK_COMPLETED）。
• 确定性路由：流程轨道必须硬编码，由编排器决定下一步，而非 Agent 即兴发挥。
• 事务完整性（Saga 模式）：每个动作必须支持回滚。若测试 Agent 发现 Bug，系统不回溯询问解释，而是回滚文件系统至稳定状态，并向下一会话发送明确的“拒绝包”。

四、结论：从魔法回归工程

自主企业 AI 的路径不在于“魔法般的涌现特性”，而在于严格控制。必须剥夺模型的自治权，将其归还给确定性代码，将“推理引擎”（LLM）与“控制逻辑”分离。

原文 · HackerNoon：阅读原文 →