开源Cloudflare Workers替代方案:60MB单兵AI基建
编辑点评 · AI 连续创业者视角(以下内容由 AI 提炼,观点归原作者;读完可不看原文)
作者用Rust开发open-compute,将Cloudflare Workers全平台折叠为60MB常驻内存的单二进制,支持私有部署。关键数字:相比K8s方案内存占用降低90%以上(推断),冷启动毫秒级。对搞钱者意味:ToB企业因合规拒绝公有云,需私有AI基建,此工具降低交付门槛。可行动:本地部署验证,或提供基于此的私有Agent服务。
- 部署ocd到测试机,跑通Cloudflare API兼容层
- 针对金融/政企客户推私有化AI Agent托管
- 对比K8s方案,测算服务器成本节省比例
- 集成开源模型,构建离线AI推理平台
- 提供企业级AI基建私有化咨询与交付服务
一、这是什么机会
面向拒绝公有云数据出境的金融、政企及医疗客户,提供基于 open-compute 的私有化 AI Agent 托管基建。核心产品是一个 60MB 常驻内存的单二进制文件,替代 K8s 集群,支持本地部署运行 Cloudflare Workers 兼容层。收费模式可为“私有化部署授权费 + 年度维保”,或“按节点数收取 SaaS 订阅费”。
二、独立判断
值得切入 ToB 私有化赛道。关键理由在于合规壁垒:传统云厂商无法解决金融/政企内网数据不出域痛点,而 K8s 运维成本极高,open-compute 将“Serverless 体验”折叠进单机,降低了交付门槛。但需注意,该结论基于原文作者“经过内部 ToB 业务磨练”的陈述,具体稳定性需自行压测验证,不能直接假设等同于商业级 SLA。
三、冷启动路径
第一步验证动作:在本地 Linux 服务器部署 ocd,跑通一个包含 Durable Objects 状态持久化的 Agent 示例,记录冷启动耗时与内存占用。成本量级极低,仅需一台 4C8G 云主机或闲置服务器,周期 3 天。若验证通过,尝试对接一个本地开源 LLM,构建离线推理闭环。
四、最大风险与避坑
最大风险是“单点故障”与“生态兼容”陷阱。60MB 极简化架构意味着牺牲了传统 K8s 的弹性伸缩与故障自愈能力,需手动配置备份策略;另一坑在于“API 兼容度”,Cloudflare 特性更新快,开源版可能滞后,签约前需明确支持哪些 API 子集,避免承诺全量兼容导致交付扯皮。
五、案例复盘(别人怎么做的)
- 产品形态:用 Rust 开发单一二进制 ocd,内嵌 SQLite(WAL 模式)替代外部 Redis/PostgreSQL,实现零外部依赖。
- 工程优化:启用 Full LTO 与 codegen-units=1 优化,采用零拷贝流式代理,确保上传大文件时宿主内存波动极小,常驻内存锁定在 60MB 左右。
- 状态管理:设计“等待中的任务不占进程”哲学,将 Workflows 抽象为状态机,执行完一步立即持久化并休眠,待事件触发后复用历史结果恢复,解决长任务中断问题。
- 获客逻辑:原作者先在公司内部 ToB 交付中高强度使用,积累踩坑经验后再开源,以此建立“经过实战检验”的信任背书,而非单纯技术炫技。
- 对比优势:相比 K8s + MinIO + Redis 的传统自建方案,省去了镜像拉取、网络命名空间隔离等复杂运维,部署时间从小时级缩短至分钟级。
- 合规切入:明确拒绝“数据过海外公有云”的客户痛点,主打内网部署,将合规从阻力转化为核心技术卖点。
六、双轨可执行性
跨境:此轨道不可行,因核心卖点就是规避跨境数据合规风险,面向海外公有云客户无吸引力;国内:可立即启动,聚焦金融/政务内网环境,以“去 K8s 化”的轻量化私有 Agent 基建为切入点,先找一家有合规压力的中型客户做 POC 验证。
原文 · Elliot's Notes:阅读原文 →
