StreamEval开源：实时视频模型统一评测基准与工具
编辑点评 · AI 连续创业者视角（以下内容由 AI 提炼，观点归原作者；读完可不看原文）
这是一份针对实时交互视频模型（如数字人、世界生成）的开源评测基准与工具包。关键数字：测试 37 个模型，指令跟随最高分仅 36.90 分，显示技术仍有短板（A·实测）。对搞钱意味着什么：这是 B 端技术选型的权威标尺，非直接变现项目；适合技术团队快速评估模型能力，避免盲目选型。下一步动作：克隆 GitHub 仓库，跑通 CPU 示例，将你的业务场景接入测试。
- 克隆 GitHub 仓库并运行本地 CPU 示例
- 将自有业务场景接入 5 类任务评测
- 对比 Vidu 等模型在具体任务上的得分
- 利用公开基准核验供应商宣传的模型能力
实时视频模型选型别拍脑袋，先看 StreamEval 榜单
StreamEval 是目前首个针对流式实时交互视频模型的开源评测基准，覆盖数字人对话、表演、世界生成及两类实时编辑任务。测试结果显示，37 个参评模型在持续指令跟随上普遍表现薄弱，最高得分仅 36.90 分。对于正在搭建数字人或实时视频应用的技术团队，直接套用该工具包比盲信厂商宣传更靠谱。
这套评测到底考什么？
传统视频模型评测盯着画质和动作连贯性，但实时交互模型的核心难点在于“听指令改状态”且不崩。StreamEval 设了 300 个测试用例，把语音、文字指令按时间轴逐条喂给模型，考察其能否在 15 到 300 秒的持续流中，精准执行换衣服、改场景等操作，同时保证人物身份和背景不乱。评分分四个维度：任务执行、状态一致性、视觉保真度、声画协调，每项 0-100 分。
哪些模型表现更好？
榜单显示，数字人对话任务中，生数科技的 Vidu S2-Avatar 以 93.98 分 Overall 排第一，在对话理解、画质和身份一致性上均领先；第二名是 Tavus CVI Full。数字人表演同样由 Vidu S2-Avatar 领跑，Overall 81.71。世界生成赛道竞争激烈，港大与可灵团队的 MemFlow 以 33.36 分险胜 Rolling Forcing（33.01 分）。指令编辑和参考编辑第一均为 Vidu S2-Editing，得分分别是 45.43 和 39.02。
有个信号值得留意：世界生成中指令跟随最高分仅 25.93，参考编辑成功率最高 15.00。这说明实时视频模型“听话”的能力仍远弱于“画质”能力。做业务选型时，如果场景强依赖复杂指令编辑，当前市面模型可能都需要做大量兜底逻辑。
怎么接入验证自家场景？
工具包支持 Linux 和 macOS，需 Python 3.10+。冷启动路径很轻：先克隆仓库跑通 CPU 示例，该步骤无需 GPU、API Key 或预下载数据，用本地生成的素材即可验证流程。跑通后下载约 3.1GB 的完整评测数据（ModelScope 已提供），配置评审模型凭证即可复现论文结果。
- 进程内接入：模型与评测程序同处一个 Python 环境，按模板改代码即可。
- WebSocket 服务：模型在独立环境或另一台机器运行，通过 WebSocket 对接，模板支持直接从进程内模型转换。
- 贡献结果：本地跑完留存记录，可提交至官网“Evaluate your model”入口，经审核验证后纳入下月榜单。
怎么用它赚钱
直接卖模型不行，但“模型选型咨询”有市场。针对正在做数字人客服、实时视频生成的 B 端团队，提供“业务场景映射 StreamEval 任务项 + 跑分诊断 + 兜底策略建议”的服务。客单价可定 5000-10000 元，第一步是找 2 家客户用他们的真实指令流接入评测，出具一份“当前模型在你们场景下的失败率报告”。
原文 · GitHubDaily：阅读原文 →
