TypeSafe Jev：0.12美元跑80局，结构化决策性价比之王

极低成本结构化决策：TypeSafe Jev模型实战评估

核心结论：TypeSafe推出的Jev并非聊天模型，而是专为“给定选项列表选其一”场景设计的分类器。在LLM Chess测试中，其Elo约243（对标中端推理模型），单局耗时仅36秒、成本0.0015美元，性价比远超同类模型。适合路由分发、工具选择等高频结构化决策，不适合自由文本生成。

目前LLM大模型评测普遍存在“基准测试通胀”问题，TypeSafe明确反对刷榜行为，拒绝公开评测榜单，转而采用内部快照作为能力证明。这种反常规策略反而验证了其模型在特定任务上的稳定性与一致性。

一、模型定位与工作原理

Jev的工作模式类似于传统分类器，但突破了传统分类器的输入限制——它接受自由文本输入，并允许使用者自定义标签列表。通过State（状态）+ Typed Questions（Choice/Score/Noul三种类型化问题）的组合，模型输出带概率的标签选择，而非连续文本生成。

这种设计使Jev在处理固定选项任务时表现优异，但在需要逐字符生成的任务上存在明显短板。测试中，当要求模型逐个字符拼写"blue"时，模型输出"bue"或"helhoh"等非标准拼写；但从"pari"开始补全时则能正确输出"paris"。这表明Jev擅长从预定义选项中匹配，而非从零生成文本。

二、LLM Chess实战数据

在LLM Chess对抗平台测试中，Jev以固定协议接入国际象棋引擎：

• 输入结构：每步棋接收棋盘状态{fen, side_to_move}及所有合法UCI移动选项（最多255个）
• 输出格式：直接返回UCI字符串，无需额外解析
• 性能指标：Elo 242.9±117.5，排名 ，与qwen3.6-27b（Elo 270）、o4-mini-medium（Elo 240）处于同一梯队
• 成本效率：单局成本0.0015美元（每步0.00002美元），100%完成完整对局，无非法移动或协议断裂
• 速度对比：平均35.6秒/局，比同档位聊天模型快50倍以上

与Dragon引擎的对弈数据显示，Jev在L1-L3三个难度级别均保持50%胜率，平局率稳定，未出现随对手增强而胜率骤降的情况，体现了其在结构化决策任务中的鲁棒性。

三、适用场景与部署建议

Jev的核心价值在于"从列表中选择"而非"生成内容"。推荐应用场景包括：

• 路由分发：根据输入内容匹配预设服务节点
• 工具选择：Agent在固定工具集中选择下一步调用
• 结构化决策：代码执行中的参数选择、流程分支判断

计费模式为输入$0.042/百万tokens，输出免费，进一步降低高频调用成本。对于需要快速决策且选项固定的业务场景，Jev提供了极具竞争力的成本/速度组合，单局0.12美元即可完成80局测试，而同档位聊天模型成本超过

来源 · DEV Community：阅读原文 →