开源AI能力评估工具:如何用本地日志量化团队AI水平

· 进步分子, 投稿

编辑点评 · AI 连续创业者视角(以下内容由 AI 提炼,观点归原作者;读完可不看原文)

这是一个开源的AI能力评估Skill,通过扫描本地Claude Code等Agent的真实对话日志,生成LV0-LV5等级报告及16型人物志。原文未给商业数字(免费开源),但提供了清晰的冷启动路径:安装后运行脚本即可生成HTML报告。对搞钱意味着:这不仅是工具,更是“AI咨询/培训”的切入点。最大坑是隐私合规与用户接受度,需强调本地运行、不上传。适合技术型自由职业者做差异化服务,或企业内训师作为评估手段。下一步:克隆仓库,在自己电脑跑通Demo,验证报告可读性。

  • 克隆GitHub仓库,本地跑通Demo验证可行性
  • 将该工具作为“AI效能审计”服务切入企业市场
  • 利用16型人物志发现团队盲点,制定培训方案
  • 强调本地隐私安全,消除企业对数据外泄的顾虑

一、这是什么机会

这是一个开源的AI能力审计工具,名为「AI 幾級了?(ai-level-check)」。它通过扫描本地计算机中Claude Code、Codex等AI Agent的历史对话日志,生成包含LV0-LV5等级和16型使用风格人物的HTML报告。目标用户是希望量化团队AI效能的企业主,以及需要验证自身AI工作流的自由职业者。商业模式目前为免费开源,但可延伸为“AI效能审计”咨询服务或企业内训入口。

二、独立判断

值得尝试,但需谨慎定位。原文事实:该工具解决的是“AI使用行为难以量化”的真实痛点,且完全本地运行,规避了核心隐私顾虑。编辑推断:单纯卖工具本身难收费,真正的机会在于“诊断+处方”——即基于报告结果提供个性化培训或工作流优化服务。关键在于,企业客户是否愿意让AI分析员工的底层操作习惯,这取决于信任建立成本。

三、冷启动路径

第一步验证动作:克隆GitHub仓库(git clone https://github.com/Raymondhou0917/ai-level-check.git),在本地环境跑通Python脚本(python3 ~/ai-level-check/scripts/collect.py --days 14),生成一份个人报告。成本量级:接近零,主要耗时在安装依赖和阅读文档。周期:1-2天内可完成从安装到理解报告结构的闭环。若报告内容符合预期,再寻找一家小规模技术团队作为首个免费试点客户。

四、最大风险与避坑

最大风险是隐私合规与员工抵触。虽然工具承诺本地运行、自动脱敏(遮盖邮箱、密钥等),但“扫描同事电脑日志”在企业管理上极具侵入性。避坑策略:严格遵循“自願制”原则,不强制全员部署,报告仅由本人决定是否分享;明确告知企业客户,该工具不可用于绩效考核或排名,仅用于识别团队共性的盲点(如普遍缺乏验证习惯)。

五、案例复盘(别人怎么做的)

  • 产品定义:由雷蒙与陈敬儒在餐饮场景中共创。陈敬儒先做了需手动粘贴对话的检核Prompt,雷蒙将其优化为自动扫描本地硬盘记录的Skill,降低使用摩擦。
  • 核心逻辑:摒弃问卷和口头汇报(自評偏差大),主张“一个人的AI能力藏在每天的对话记录里”,只有AI能完整读取并客观评估,不受情绪和记忆影响。
  • 分级标准:设定LV0-LV5六级。LV0为直接采纳AI答案不验证;LV4要求有固定模板或Skill实作证据;LV5要求系统级自动化运作。无记录则标“无法定级”,避免误判。
  • 风格画像:引入16型人物志,通过交辦(P/Q)、查核(V/A)、沉澱(S/O)、動手(E/C)四轴定位。例如“PVSE系统架构师”代表先规划后执行,“QVOE直觉实验家”代表边试边改。
  • 隐私设计:仅用Python标准库,不联网;自动脱敏敏感信息;不提供总分或百分位排名,避免引发焦虑和竞争,只给出具体改进建议。
  • 面试应用:要求候选人在自己的电脑上安装并运行工具,分享报告作为面试话题起点。通过追问报告中的具体案例(如“你当时怎么交代的?”),辨别是真实使用还是面试前突击背诵。

六、双轨可执行性

跨境:此轨道可行但非首选。工具基于本地文件路径和特定Agent(如Claude Code)的日志结构,跨语言环境虽无阻碍,但“扫描本地对话”的文化接受度在欧美需额外解释“数据主权”概念。启动方式:先在GitHub发布英文版README,吸引海外独立开发者试用。

国内:可行性较高,需替换底层Agent。Claude Code等在国外较火,国内开发者更多使用通义灵码、CodeGeeX等。启动方式:逆向分析国内主流AI编程助手的日志存储格式,适配扫描脚本,包装为“团队AI协作成熟度评估”服务,卖给希望降本增效的技术团队。

原文 · 雷蒙三十|幫助忙碌現代人的聰明工作、好好生活的生產力指南:阅读原文 →

相关工具推荐(推广):GLM Coding Plan — AI Coding Powered by G…

订阅《创造者日报》邮件版
每天精选可动手的搞钱机会、好用工具与稀缺观点,免费直达你的邮箱。
English reader? Subscribe the EN edition →
iMessage 邮件 联系我们
EN