AI客服基准:头部70% vs 中位数48%

分类小报
· 进步分子, 投稿

头部AI客服解决率70%的真相

据Gorgias发布的盲测数据,表现最好的AI客服解决率为75%,中位数仅48%,且9成供应商近四周表现下滑。这意味着“开箱即用”的旧有工具AI能力最弱,直接替换现有系统可能无效。

这份基准测试针对13家供应商在212家真实电商店铺进行了盲测,所有Agent接收相同的客户消息,由裁判对26项二元检查进行盲评。事实性声明(如价格、政策、SKU)通过程序与实时店铺数据核对。数据显示,Top 5供应商(Rep AI、Decagon、Yuma、Ada、Gorgias)的解决率分布在64%至75%之间,其中Rep AI以75%(120条对话)领跑,Decagon紧随其后为73%(34条对话),Yuma为71%(118条对话)。然而,中位数供应商的解决率仅为48%,按对话量加权的整体解决率更是低至46%。

选品需警惕质量与解决率的错位

仅看自动化率会选错供应商,必须结合盲测质量评分(0-100分)综合判断。例如,Ada自动化率高但质量分低,易导致后续投诉成本增加。

  • 双高表现:Yuma(71%自动化/72质量)、Decagon(73%自动化/70质量)、Gorgias(64%自动化/66质量)。这三家是自动化率高于64%且质量评分高于65的唯一供应商组合。
  • 高自动化低质量:Rep AI虽解决率最高(75%),但质量分仅55;Ada解决率68%,质量分仅39。根据基准测试逻辑,质量低的“解决”往往产生新的工单,长期成本更高。
  • 低自动化高质量:Sierra质量分与Yuma并列72,但解决率仅48%;Klaviyo质量分65,解决率仅21%。

值得注意的是,Zendesk、Intercom和Klaviyo是多数品牌已付费的平台,但在该基准中解决率均未超过42%。数据显示,内置于现有客服工单或邮件工具的AI是市场上较弱的选项之一。

性能漂移是最大避坑点

10家供应商有四周趋势数据,其中9家自动化率下滑,Envive是唯一上升者(+8点)。模型更新导致的性能漂移需重点监控,避免供应商表现不稳定。

具体数据:Siena自动化率下降23点,Kodif下降13点,Klaviyo和Sierra各下降11点,DigitalGenius下降10点。质量评分也呈类似趋势,9家下滑,仅Envive上升。对于SaaS选品或AI外包决策者,验证“无人工干预”的真实解决率时,必须关注短期趋势,防止因模型迭代导致的效能倒退。

常见问题

问:为什么中位数供应商的解决率只有48%?
答:据Gorgias盲测数据,中位数代表50%的供应商表现水平,多数供应商在处理复杂场景或事实性核查时存在短板,导致整体解决率未过半。

问:Rep AI解决率最高为何不推荐盲选?
答:Rep AI质量分仅55,低于Yuma和Decagon。低质量回答可能引发二次联系,增加客服总成本,需权衡自动化率与质量分。

问:如何评估供应商的稳定性?
答:参考近四周的自动化率变化趋势,警惕大幅下滑(如Siena -23点)。选择性能波动小或上升(如Envive +8点)的供应商可降低风险。

来源 · SaaStrAI:阅读原文 →

订阅《创造者日报》邮件版
每天精选可动手的搞钱机会、好用工具与稀缺观点,免费直达你的邮箱。
English reader? Subscribe the EN edition →
iMessage 邮件 联系我们
EN