买机器跑本地模型之前,先算一笔账
有一周,我那些做游戏的 Agent 的用量按 API 官方定价算,大约是 1,460 美元。我的订阅是每月固定 200 美元,所以这个数不是账单,不过每周的 Sonnet 额度确实在一次发布做到一半时用完了。要不要在家里放一台机器接走一部分活,我在决定之前算了笔账,这篇笔记记的就是这笔账。
我打算先试的模型是 4-bit 量化的 Qwen3.6-35B-A3B,量化就是把模型压缩一下,少占内存。它的权重按 Apache 2.0 开放,支持文本和图像输入。350 亿参数里每个 token 只激活 30 亿,所以快:按别人公布的实测数据,在 RTX 3090 显卡上,生成速度大约每秒 155 个 token,读提示词每秒超过 3,000 个。模型文件大约 21 GB。
我可以直接在现有的笔记本上跑,一台 MacBook Pro,M5 Pro 芯片,64 GB 统一内存。整个模型放得下,软件已经装好,也不用花钱。但它是我的工作机,Agent 整天都在用它,要在夜里跑,就得每晚把它开着留在家里。
另一条路是买一台专用的小机器。我能接受的便宜配置是这样的:
| 部件 | 选择 | 价格 |
|---|---|---|
| 迷你主机 | Minisforum AI X1 Pro-470 准系统,不带内存和硬盘;有 OCuLink 接口,可以外接显卡 | 约 760 美元 |
| 内存 | 32 GB DDR5 | 430 到 490 美元 |
| 硬盘 | 512 GB NVMe | 约 90 美元,我估的 |
| 显卡扩展坞 | AOOSTAR AG02,OCuLink,自带 800 W 电源 | 约 230 美元 |
| 显卡 | 二手 RTX 4060 Ti,16 GB | 380 到 470 美元 |
| 合计 | 约 1,950 美元(各区间取中间值) |
16 GB 的显卡放不下 21 GB 的模型。这个模型可以把一部分层放在主机内存里,不放显卡,所以这套配置要 32 GB 内存,16 GB 不够。这样拆开放也会变慢,我看到的对 16 GB 显卡的估计是每秒 30 到 50 个 token。夜里跑够用了。512 GB 的硬盘放得下系统和 3 到 4 个模型。
快一些的配置是把显卡换成二手的 24 GB RTX 3090,这块卡大约 1,500 美元。这样整个模型都在显卡上,前面说的每秒 155 个 token 就是这种配置跑出来的,总价大约 3,000 美元。
两套配置的瓶颈都在上下文,也就是模型一次能装下多少文本。在那份公开的测试里,加载 8,000 个 token 的上下文之后,3090 还剩大约 2.5 GB 显存,所以我估计能放下 16,000 到 32,000 个 token,带图像输入还要更少。对我想迁走的那些角色,按它们现在的跑法,这不够。一个盲测回合的上下文峰值,中位数是 34,000 个 token,一次调研运行是 54,000 个,一次 QA 运行大约 100,000 个。每一步只加 2,000 到 2,300 个 token,但步数一多就堆起来了。要迁这些角色,得先把它们的活切成小调用:一份转写文本里的一段,或者一张截图加一小段历史。
只做阅读、归档、总结或测试的角色,占这一周成本的 1.5%,占新 token 的 5.5%。加上调研、美术角色和通用的 Sonnet 助手,就是成本的 8% 左右、新 token 的 25%,而受上下文限制,实际迁得走的比这还少。
1,460 美元的 8%,按官方定价是每周 120 美元左右。假如这部分全迁走(眼下上下文限制不允许),1,950 美元的配置大约 4 个月回本,3,000 美元的大约 6 个月。但我每月付的是固定的 200 美元,迁走 8% 的活也换不到更便宜的套餐,所以单算现金,这台机器一分钱也省不下。
项目多了,现金这笔账也不变。我统计的那一周已经包含 2 个游戏和知识库,同一份订阅上再加项目,账单不会涨。变的是 Sonnet 额度会更早用完,到那时真正要比的,就是再买一份 200 美元的订阅。跟它比,再算上每月 25 到 30 美元的电费(我估的),便宜的配置大约 11 个月回本,快的那套大约一年半。另外机器的价格是固定的,给它派活的项目每多一个,单个任务的成本就低一点。
所以我不会为了省钱买它。买来的是额度,因为要迁的都是 Sonnet 角色,用完的正是 Sonnet 额度(按官方定价,它们大约占这一周 Sonnet 用量的四分之三,不过订阅内部怎么给它们加权我不清楚)。比额度更要紧的是重复。我的 QA 校准只跑了 2 轮,盲测只有 8 个回合,上一篇文章里好几个数字站不住,原因很简单:跑一次就耗一次额度,所以我只跑了一两次。本地模型应该能一晚上把同一个回合玩 50 遍,只花电费。这说明不了云端测试员(跑在 Claude 上的那个)的召回率,除非我让两边跑同样的回合。但它能让我看到回合与回合之间差多少,也就知道“12 个里找到 4 个”这种结果稳不稳。
所以先上笔记本,因为要弄清这个模型干这些活够不够好,用它不花钱(至于 16 GB 显卡的速度和上下文限制,它回答不了)。专用机器先等等,等夜间运行对我的价值超过一台不花钱的笔记本再说。
Claude Code 可以把整个会话指到另一个端点,但我只想让一部分角色走本地。所以本地模型会放在我自己的脚本后面,用 llama.cpp 提供服务,Agent 把这些脚本当工具调用。对测试员来说,这意味着整个循环得由我的脚本自己跑:截图、模型、操作。
按任务单写的代码留在云端。我没在自己的任务单上跑过本地模型,这个模型公开的编码分数出自厂商自己的评测框架,而且游戏代码改错一处,比总结写错一份代价大。盲测员作为门禁也继续留在云端,直到有本地的盲测员跟它在相同的回合上比过。主会话自己那个循环里的东西一样都不迁,因为它要的上下文远不是一块 24 GB 的显卡给得了的。