开源Cloudflare Workers替代方案:60MB单兵AI基建

· 进步分子, 投稿

编辑点评 · AI 连续创业者视角(以下内容由 AI 提炼,观点归原作者;读完可不看原文)

作者用Rust开发open-compute,将Cloudflare Workers全平台折叠为60MB常驻内存的单二进制,支持私有部署。关键数字:相比K8s方案内存占用降低90%以上(推断),冷启动毫秒级。对搞钱者意味:ToB企业因合规拒绝公有云,需私有AI基建,此工具降低交付门槛。可行动:本地部署验证,或提供基于此的私有Agent服务。

  • 部署ocd到测试机,跑通Cloudflare API兼容层
  • 针对金融/政企客户推私有化AI Agent托管
  • 对比K8s方案,测算服务器成本节省比例
  • 集成开源模型,构建离线AI推理平台
  • 提供企业级AI基建私有化咨询与交付服务

一、这是什么机会

面向拒绝公有云数据出境的金融、政企及医疗客户,提供基于 open-compute 的私有化 AI Agent 托管基建。核心产品是一个 60MB 常驻内存的单二进制文件,替代 K8s 集群,支持本地部署运行 Cloudflare Workers 兼容层。收费模式可为“私有化部署授权费 + 年度维保”,或“按节点数收取 SaaS 订阅费”。

二、独立判断

值得切入 ToB 私有化赛道。关键理由在于合规壁垒:传统云厂商无法解决金融/政企内网数据不出域痛点,而 K8s 运维成本极高,open-compute 将“Serverless 体验”折叠进单机,降低了交付门槛。但需注意,该结论基于原文作者“经过内部 ToB 业务磨练”的陈述,具体稳定性需自行压测验证,不能直接假设等同于商业级 SLA。

三、冷启动路径

第一步验证动作:在本地 Linux 服务器部署 ocd,跑通一个包含 Durable Objects 状态持久化的 Agent 示例,记录冷启动耗时与内存占用。成本量级极低,仅需一台 4C8G 云主机或闲置服务器,周期 3 天。若验证通过,尝试对接一个本地开源 LLM,构建离线推理闭环。

四、最大风险与避坑

最大风险是“单点故障”与“生态兼容”陷阱。60MB 极简化架构意味着牺牲了传统 K8s 的弹性伸缩与故障自愈能力,需手动配置备份策略;另一坑在于“API 兼容度”,Cloudflare 特性更新快,开源版可能滞后,签约前需明确支持哪些 API 子集,避免承诺全量兼容导致交付扯皮。

五、案例复盘(别人怎么做的)

  • 产品形态:用 Rust 开发单一二进制 ocd,内嵌 SQLite(WAL 模式)替代外部 Redis/PostgreSQL,实现零外部依赖。
  • 工程优化:启用 Full LTO 与 codegen-units=1 优化,采用零拷贝流式代理,确保上传大文件时宿主内存波动极小,常驻内存锁定在 60MB 左右。
  • 状态管理:设计“等待中的任务不占进程”哲学,将 Workflows 抽象为状态机,执行完一步立即持久化并休眠,待事件触发后复用历史结果恢复,解决长任务中断问题。
  • 获客逻辑:原作者先在公司内部 ToB 交付中高强度使用,积累踩坑经验后再开源,以此建立“经过实战检验”的信任背书,而非单纯技术炫技。
  • 对比优势:相比 K8s + MinIO + Redis 的传统自建方案,省去了镜像拉取、网络命名空间隔离等复杂运维,部署时间从小时级缩短至分钟级。
  • 合规切入:明确拒绝“数据过海外公有云”的客户痛点,主打内网部署,将合规从阻力转化为核心技术卖点。

六、双轨可执行性

跨境:此轨道不可行,因核心卖点就是规避跨境数据合规风险,面向海外公有云客户无吸引力;国内:可立即启动,聚焦金融/政务内网环境,以“去 K8s 化”的轻量化私有 Agent 基建为切入点,先找一家有合规压力的中型客户做 POC 验证。

原文 · Elliot's Notes:阅读原文 →

🎯 加入「进步分子」知识星球

搞钱情报 · 工具测评 · 副业实战

知识星球二维码

立即加入

扫码或点击加入,一起进步

订阅《创造者日报》邮件版
每天精选可动手的搞钱机会、好用工具与稀缺观点,免费直达你的邮箱。
English reader? Subscribe the EN edition →
iMessage 邮件 联系我们
EN