我在游戏里埋了 12 个 bug,AI 测试员只找到 4 个

过去一年,我的业余时间都在做小游戏,最近半年是带着 AI 编程 Agent 一起做。Agent 写代码快,跟我说“能跑了”也一样快。到 11 月,它们打的那些绿勾,我已经分不清哪个能信。

于是我花了一周,在它们外面加了一圈检查,然后回头把这些检查本身也测了一遍。

标题说的是后一件事。我在一个构建版本(游戏的一份可玩副本)里埋了 12 个 bug,交给 QA Agent,就是专门给游戏找 bug 的那个。它找到 4 个。我改了它的指令,把第一轮里害它提前中断的那个 bug 挪了位置,再跑一遍,还是 4 个。

同一周还发现了另外两件事。我的“盲测员”按设计应该对自己玩的游戏一无所知,可它是在一个项目里启动的,这个项目的指令文件里就写着游戏名。还有一次,我在一个会话里起了 20 到 30 个调研 Agent 去填游戏卡片目录,一个游戏一条笔记。跑到一半,网页搜索工具挂了,它们照样往下写。“来源”一栏,有几个填的是“对品类的了解”。

最后搭出来的东西我叫它 GameStudio。它跑在 Claude Code 上,用 Claude Haiku 5.5、Sonnet 5.5 和 Opus 5.5,另外还有一个 Fable 5.2,只负责游戏经济系统上的一项任务。这篇文章讲的是这套系统,游戏只是拿来测它的对象。文中的数字出自我的仓库,以及仓库里的两份记录:一份踩坑记录和各游戏的任务单日志,后面都会讲到。

仓库里有什么

一个 Obsidian 笔记库,里面有 1,361 条 Markdown 笔记,存的是我从公开渠道收集的市场资料,按游戏、机制、品类、来源、决策和教训归档。旁边是大约 40 个脚本,用来抓数据、跑检查,几乎都不调语言模型。例外有这几个:图像、3D 和音效生成的封装脚本,本地 Whisper 转写,还有一个启动定时 Agent 的脚本。

笔记库的关系图:一个点是一条笔记,一条线是两条笔记之间的链接。按文件画出来的,笔记名已隐去。
笔记库的关系图:一个点是一条笔记,一条线是两条笔记之间的链接。按文件画出来的,笔记名已隐去。

第三部分是 Agent 本身:15 个角色,16 个技能。角色是某一类 Agent 的岗位说明,技能是针对某一类任务、可以反复用的指令。全都是普通的 Markdown 文件,由 Claude Code 加载。

15 个角色里同时在跑的只有几个。主会话一个,也就是负责派活的主 Agent;编码 worker 最多 3 个,reviewer 1 个;只读的活分批派出去,每批最多 6 个 Agent。结果 3 个编码 worker 对一个共用的测试文件来说都嫌多:谁都要改它,每次合并都冲突,所以现在只有主会话能动这个文件。

状态都存在文件里,因为 worker 看不到主会话的对话,手里只有一张任务单。编码 worker 按固定格式回复,不超过 300 词:状态(done、partial 或 BLOCKED)、改过的文件、每条验收命令的退出码。每次尝试在该游戏的任务单日志里记一行,出了任何问题,就在踩坑记录里加一条带日期的条目。比较典型的一条,译过来是:“会话并行起了大约 16 个重型检查,Mac 卡死(负载 160)。”由此定下的规则:每个会话的重型进程上限是 4 到 6 个。

QA Agent

QA Agent 在无头浏览器里玩构建版本。它看得到规格说明。它没有 shell,跑不了命令。但它有 Write 工具,因为报告总得有地方写,这也就是说,拦着它不去覆盖文件的只有指令。

它每次回来都说没 bug。要是我知道它到底找不找得出 bug,这算好消息,可我不知道。于是我复制了一份游戏,在一个测试开关后面写了 12 个 bug 进去:暂停菜单里点了没反应的“继续”按钮,最大值不对的计数器,一条横穿屏幕的粉色条带,另外还有 9 个。然后让 Agent 去测。第一轮跑完,我改了它的指令(崩溃后继续测,检查两种窗口尺寸,每个界面都按 bug 类别清单过一遍),把那个让它中断的崩溃挪到游戏里更靠后的位置,又跑了第二轮。

Bug 类别埋入数量第 1 轮找到第 2 轮找到
崩溃或异常221
屏幕上的数字不对211
画面瑕疵110
死局101
点了没反应的控件101
文字溢出200
教程有缺漏100
内存泄漏100
未翻译的文案 key100
合计1244

第一轮它提了 5 份报告,第二轮 4 份,除了一份,其余都对得上某个埋的 bug。对不上的那份我一直没去查,所以误报率我给不出来。它报的大多是对的,就是报得少。

没找全,一部分要算在我自己的测试设计上。第一轮里,埋的那个崩溃让会话提前结束,12 个 bug 里有 6 个还排在它后面。第二轮里,一个埋的死局挡住了 2 个 bug,另有 3 个在 Agent 压根没走到的界面上。况且这总共只是一个模型在一个游戏上跑了两轮。

召回率(Agent 找到的 bug 占真实 bug 的比例)我定的目标是 50%,两次结果都是 33%,而这个测试每次都有 5 到 6 个 bug 是 Agent 碰不到的。所以我不会把 33% 当成它的召回率。只算它碰得到的,第一轮是 6 个里找到 4 个,第二轮是 7 个里找到 4 个,这两个样本都太小,我同样不敢拿来当依据。内存泄漏也算在总数里,可 Agent 根本没有手段看到它。我能证明的只有两点:没有证据说明它的召回率高;一次崩溃就能把后面的东西全挡住。

第二轮还是 4 个,我并不意外。我从不认为能把整件事交给 Agent,只是这回,这个看法旁边头一次有了数字,哪怕这个数字不太硬。活干没干完,Agent 报“完成”的口气都一样笃定。这些工具我天天用,它们的结果照样得查。后面讲门禁那一节会看到,这个检查我自己也不是每次都做。

这张表对我有用的是按类别的拆分。Agent 抓到了崩溃和异常、不对的数字、一个死局和一个没反应的控件,画面瑕疵两轮里抓到一轮。文字溢出两轮都漏了:第一轮是因为只查了一种窗口尺寸,第二轮是还没轮到窄窗口,操作次数就用完了。内存泄漏它完全抓不了,因为没有能测内存的工具。这得写个脚本,我还没写。

之后我把 QA 降成了仅供参考。它的结果会打印在每道门禁的报告里(门禁是开发阶段之间的检查点,后面会讲),但判定不看它。

现在每次正式跑 QA 之前,会有脚本从该游戏的预埋 bug 清单里打开 3 个,Agent 找到的不足 2 个,报告就作废。假设这 3 个 bug 各自被找到的概率都是三分之一(我手里只有这一个比率),而且互相独立,那么这条规则会废掉大约四分之三的报告。实际结果要看选中的是哪 3 个,因为 9 个类别里有 4 个两轮都没被找到过;而且 3 个里只要有一个是会挡住其他 bug 的崩溃,这条规则就把我犯过的错又犯了一遍。所以通过了也只能说明这一轮没偷懒。第一次实际用的时候,Agent 3 个都没找到,报告作废;换了个新 Agent,提示了一下游戏怎么操作,找到 2 个。

bug 清单就放在游戏目录里,QA Agent 读得到,拦着它的只有指令里的一行字。

盲测和它的泄漏

盲测要回答的是:一个事先什么都不知道的人,能不能看懂第一个界面。我只把它当成对新手引导(游戏怎么向新玩家介绍自己)的一次快速初筛,因为我从没拿它的判定和真实玩家对比过。

盲测员的工具清单里只有 9 个浏览器操作,别的没有。下面是它角色文件的头部,工具名里的工具服务器前缀已经去掉:

name: blind-tester
model: sonnet
tools: browser_take_screenshot, browser_mouse_click_xy, browser_mouse_move_xy,
  browser_mouse_drag_xy, browser_mouse_down, browser_mouse_up,
  browser_mouse_wheel, browser_press_key, browser_type

它读不了文件,跑不了代码,打不开浏览器控制台,也去不了别的页面。主会话打开构建版本,盲测员拿到的是那个标签页。在这之前,有个脚本先把构建版本清理一遍:删掉 source map、源文件、HTML 注释和 meta 标签,页面标题改成“Game”。任务说明里有人设(要模仿哪类玩家)、回合编号(一个回合是一次很短的游玩,最多 15 个操作),还有盲测员自己在前几个回合记的笔记。游戏的名字、品类和目标都不给。

有一个人设是不识字的 7 岁孩子,扮演它的却是一个能把截图里每个字都读出来的模型。这个问题我还没想到怎么绕过去。

回合结束时,盲测员返回一条 JSON 记录。下面是角色文件里的模板,有删减:

{
  "episode": 1,
  "persona": "不识字的 7 岁孩子",
  "game_guess": "我觉得这是个什么游戏,用一句话说",
  "goal_understood": true,
  "goal_when": 3,
  "first_success": "最先做成的是什么,在第几个操作",
  "dead_ends": ["操作 5:我试了什么,以为会怎样,实际发生了什么"],
  "would_quit": null,
  "unclear": ["屏幕上我没看懂的东西"],
  "hint_used": "none"
}

goal_when 是弄明白目标时的操作序号,would_quit 是这个玩家会放弃的那一步操作,不会放弃就是 null。这份 JSON 是盲测员的自述,也是我最信不过的部分。时间数据来自游戏自己发给测试框架的事件:看到目标、首次成功、关卡完成。记的是从页面加载算起的墙钟秒数,模型的思考时间也算在里面,所以模型的 10 秒不等于孩子的 10 秒。按操作数算更实在,而且记录里本来就有操作序号。

在一个玩具游戏上,一个 8 次工具调用的回合用了 18,120 个新 Sonnet token(“新”指不是从缓存里读的)。第一次真实运行是 3 个人设,一共 8 个回合,用了大约 330,000 个,因为真实回合比玩具回合长。

通过阈值是:10 秒内看懂目标,60 秒内首次成功,5 分钟内最多 1 次提示。真实运行全部通过,每个人设的两个事件都出现在页面加载后 9 秒左右。看上去没问题,后来我在事件日志里发现,目标事件和首次成功是在同一步触发的。我的两个阈值量的是同一个东西。

3 个人设报的困惑点是一样的。其中一个是块没落到目标位置,后来查明是盲测员拖鼠标的方式造成的,游戏本身没问题。

盲测员还有 3 个渠道能知道不该知道的东西:我的指令文件,页面本身,还有上一个人设留下的存档。在 Claude Code 里,子 Agent(由另一个 Agent 启动的 Agent)会拿到项目的指令文件,而我那份里写着游戏名。指出这一点的是一个挑刺 Agent(这个角色只干一件事:挑毛病),它当时在审这套配置,那时我还没看到盲测员用过这些信息的任何迹象。我把游戏名删了。这篇文章审稿期间,同一个泄漏的另一半也冒了出来:子 Agent 还会收到我的个人指令文件,里面仍然提到了工作室。写到这里的时候,这个问题还没解决。

泄漏检查自己也有漏洞。它在文件里扫游戏名。清理脚本虽然把标签页标题改成了“Game”,游戏运行时又根据翻译文件把标题设了回去,这一步检查看不到,而浏览器工具的返回内容里可能带着标签页标题。构建版本里工作室的服务器地址它也漏了,现在清理脚本会把这些地址清空。还有,存档留在浏览器 profile 里,后一个人设可能接着前一个人设的进度玩。

标签页标题和存档这两项检查,现在写进了测试流程,手工做。

门禁,以及一个叫 NOT ASSESSED 的判定

门禁是游戏两个阶段之间的检查点。脚本跑完这道门禁的各项检查,返回 4 个值中的一个,从差到好依次是 FAIL、NOT ASSESSED、CONCERNS、PASS。各项检查里最差的那个值就是判定。报告文件缺失的检查记为 NOT ASSESSED,报告里没有判定行的也一样。仅供参考的检查会打印出来,但不计入判定。

同样的思路也写进了 15 个角色文件中的 8 个:没有输入,就写 NOT ASSESSED,并列出缺什么。加了这条之后,我再没见过哪份报告给没人看过的东西写“一切正常”。

从创意到发布,中间有 8 道门禁。

门禁脚本检查什么要不要我拍板
G0 创意概念笔记的格式是
G1 规格说明任务列表检查是
G2 骨架构建通过、类型检查、测试否
G3 核心构建、核心玩法的验收项是,我玩 5 分钟
G4 原型盲测构建版本的泄漏检查、盲测报告、平衡数值在范围内是,定做还是不做
G5 垂直切片构建、动画检查、一个挑刺 Agent否
G6 打磨构建、全部验收项、盲测报告、平衡数值在范围内是
G7 发布构建、全部验收项、商店检查清单是

第一周里有一个游戏从创意走到了公开发布,其中只有 G1 和 G2 拿到了脚本给的 PASS。G3 脚本给的是 FAIL,有 3 个验收项没完成;G4 是 NOT ASSESSED,因为平衡检查没有数据;G6 又是 FAIL。这 3 次我都用自己的判定推翻了脚本。G0、G5、G7 连门禁记录都没有。

门禁起到了我设计它们时想要的作用,可我还是绕过去了。当时正赶着发布。我明知道不能放手让 Agent 自己收尾,还是让它们接着干,心里多少指望那些没完成的项自己会好。这就是我在 QA 那一节说的毛病,这回犯的人是我。眼下这张表还只是一份我只遵守了一部分的设计。

G0 的脚本只检查概念笔记的格式对不对。创意本身在更早的时候先由一个“吐槽”Agent 评过,它只负责攻击这个创意,然后由我自己判断。G5 是最弱的一道门禁:没有人签字,当裁判的 Agent 还曾给同一处改动先打 7 分(满分 10 分),后来又打 5 分。要么我加上自己的签字,要么让挑刺 Agent 跟 QA 一样只供参考。

任务单

游戏的规格说明里用 YAML 列出各项任务,一项任务就是一张任务单。下面是给编码 Agent 的一张,有删减:

- id: T7
  title: 命中和拾取特效的精灵图
  lane: gfx
  agent: game-coder
  model: sonnet
  paths: ["assets/fx/**", "src/fx/**"]
  isolation: worktree
  depends_on: [T5]
  reviewer: art-director
  max_iter: 2
  budget_tokens: 1000000
  acceptance:
    - id: A1
      what: "特效图集通过动画门禁"
      oracle: command
      run: "anim_gate.py <registry> <game>"
      expect: "退出码 0"

lane 是工作类型,这里是图形。paths 列出这张任务单能改的文件,别的不许碰。isolation: worktree 要求用仓库的一份独立工作副本,max_iter 是允许尝试的次数,oracle 说明结果怎么判,这里看命令的退出码。

开跑之前,有个脚本先读任务列表。下面几种情况它会直接报错:同一批里两个任务声明的文件路径有重叠,任务的 reviewer 是它自己,验收项的期望值里没有数字,核心玩法任务分给了低于 Opus 的模型。它还负责把任务分批,每批最多 6 个任务,其中编码 worker 最多 3 个。

预算在 Agent 运行期间并没有强制,因为 Agent 没法可靠地知道自己花了多少;迭代上限也只是一个要求主会话遵守的数字。每次尝试结束后,主会话读出 token 用量,写进日志。

这一周最让我火大的,是 Agent 说某件事做完了、也测过了,其实没有。搜索工具挂掉的时候,调研 Agent 干的就是这个。后来变成编码 worker 规则的那两件事就没这么黑白分明,因为两次的漏洞都出在我这边。

一次是编码 Agent 汇报测试全部通过,而它唯一失败的那个测试,被项目测试命令里的一个跳过标志排除掉了。这怪不了 Agent,它是照给它的命令跑的,那个标志当初加上去也有原因;漏洞在我的测试框架里。现在编码 worker 汇报之前,要直接跑自己的验收命令,再不带那个标志把整个测试套件跑一遍。

第二个漏洞是挑刺 Agent 发现的,当时还没有 Agent 钻过它。我批准规格说明的时候,每张任务单的验收项都会算一个哈希,免得事后有人把标准调低。问题是,拿来比对的值和验收项存在同一个文件里。Agent 只要改掉期望值再重算哈希,就能过。现在比对用的是规格说明的已批准副本,不过对这份副本,worker 也只是被告知不要改。

我还要过 worktree 隔离,也拿到了,只是隔离错了仓库。游戏各有各的仓库,而内置的隔离是给会话所在的仓库建 worktree,也就是 GameStudio。那样的话,3 个编码 worker 会共用游戏的同一份工作副本,我要隔离就是为了避免这个。现在由一个小脚本给每张任务单建一个分支和一个 worktree,主会话一个一个地合并,任务单里的 isolation 字段由这个脚本来读。

Claude Code 强制执行什么

Claude Code 强制执行的是工具清单,所以没有 shell 工具的角色就跑不了命令。其余的都只是指令,要么事后检查,要么根本不查:任务单能改哪些文件、预算、迭代上限、不许读 bug 清单。项目的设置文件里没有 hook(Claude Code 在工具调用前后运行的脚本),也没有权限规则,我的用户设置里同样没有任何东西来强制任务单的文件范围。

这条规则应该做成一个工具调用前的 hook,在写入落到任务单路径之外以前就把它拒掉,我还没顾上做。挂在编辑工具上的 hook 看不到通过 shell 做的写入,所以带 shell 的编码 worker 还得再加一道检查。另外,reviewer 和作者出自同一个模型家族,只是提示词不同,所以我默认它们会犯同样的错。

知识库

那些调研 Agent 当时填的目录,就是笔记库里的那批游戏卡片。

那次会话之后,我用固定的随机种子抽了 15 张卡片,手工核对了其中大约 45 条事实。有 4 条明显是错的,分布在 3 张卡片里。一张把某个游戏 2021 年创下的历史最高纪录写成了上个月的峰值。另一张里有 audience: "yes",是正文里的一句话串进了这个字段。15 张里有 7 张至少有一处问题,大小不论;放到整个笔记库看,有 12 张卡片把同一个字段重复写了 3 遍。

这里面一部分是模型在编,另一部分是工具挂了,却没有任何机制让 Agent 跟着停下。现在调研角色的文件里禁止把“对品类的了解”当来源,凡是没有来源的内容都要标 UNVERIFIED。调研 Agent 每批 6 个,同时在搜索的最多 3 到 4 个。还有,商店页面或 feed 里已经公开的事实,我不再让模型去收集,改用脚本:

脚本读取什么
steamdata.pySteam 商店的公开数据:价格、日期、开发商、评测汇总、热门评测
mobiledata.pyApp Store 和 Google Play 的应用页面:评分、安装量、评分最低的评论
robloxdata.pyRoblox 的公开游戏数据:当前玩家数、访问量、好评比例、游戏通行证
steamnews.py游戏的新闻 feed:发售前后开发者发帖的频率
ingest.py视频的字幕,没有字幕时用本地 Whisper 转写的文本

另有一个脚本把结果写进卡片:按规范化后的名称,或者按卡片里已有的商店链接去匹配,两样都对不上就什么也不写。它只填空字段,并在每个值旁边注明来源和日期。这也就是说,Agent 编的、我抽查又没查出来的东西,现在还留在那些卡片里。

品类和风格这两个字段是指向笔记的链接,对应的笔记必须存在。这一点由 linter 强制检查,受众字段则必须取自一份固定列表。平台的取值不检查,已经有 13 个列表外的值混进了 14 张卡片。

机制笔记还带有 1 到 5 分的吸引力评分和一个留存字段。这些是模型的看法,只是写进了结构化字段,我只用它们来挑先读哪些笔记。

我对 Obsidian 挺满意,主要原因跟 Agent 关系不大:我能看见数据。游戏卡片可以看成一墙封面,机制可以看成能筛选的表格,笔记之间的链接可以看成关系图。它大概没替 Agent 省下一个 token,对它们来说笔记库就是一个放 Markdown 文件的文件夹,当文本搜就是了。这些图是给我自己看的。

为了让查找便宜些,游戏、品类、机制和实践这几类笔记都应该有一行 summary,不超过 160 个字符。目前 727 条笔记有了。其中 703 条是脚本直接抄了笔记概述一节的开头,Haiku 又重写了里面最差的 40 条。Agent 先把关键词当纯文本搜,读每条命中结果的 summary 行,然后才打开笔记。这样找不找得到对的笔记,能省多少 token,我说不上来。

和编译器一样,linter 发现错误就以错误码退出。我会手动跑它,门禁 G0 也会跑它,除此之外没有任何东西强制它运行。今天的两个结果,翻译并压缩过:

游戏和机制笔记:     657 个文件,  0 个错误,  21 个警告   GATE: CONCERNS
全部已检查的笔记:  1274 个文件, 10 个错误, 136 个警告   GATE: FAIL

136 个警告里,105 个是指向不存在笔记的链接。

我盯着的一个数,是游戏卡片里 UNVERIFIED 标记和占位标记的总数。15 个角色里有 6 个被要求给所有没有来源的说法打标记,而标记是 Agent 给自己写的内容打的,所以这个数说明的不光是有多少内容没核实,至少同样说明 Agent 守这条规矩守得怎么样。随着新卡片进来,它一天之内从 1,668 涨到了 1,857。今天是 1,875。

这一周花了多少

这一周的任务单日志加起来,按 API 官方定价算是 60 到 100 美元,具体多少看各行怎么汇总。然后我把 Claude Code 存在磁盘上的会话日志过了一遍:3 个真正干活的主会话,4 个不到一分钟的会话,还有 650 次子 Agent 运行。里面大约有 9,900 万个新 token(新的输入和输出)和 38.8 亿个从缓存读取的 token。按官方定价,缓存写入和缓存读取各按公布的费率算,这一周大约 1,460 美元,也就是说日志只记到了其中 5% 左右。

这些都不是账单。我用的是固定月费的订阅,1,460 美元是同样一周按 token 付费要花的钱,笔记库和调研的活也在里面,因为从日志里没法把它们和游戏分开。

角色与模型占 1,460 美元的比例
主会话,Opus39%
主会话启动的通用助手,Opus28%
编码 Agent,Opus15%
规格说明撰写者,Opus5%
编码 Agent,Sonnet2%
调研、美术和通用助手,Sonnet7%
盲测员、QA Agent、资料管理员、视频分析员1.5%
其余:Fable、挑刺 Agent、小角色4%

各项占比是分别取整的,所以这一列加起来是 101.5%。

每张任务单的预算是 100 万个 token,用得最多的一张是 445,000 个,所以没有哪张接近预算,再说这个预算本来就盯错了地方。日志统计的是走任务单的运行里的新 token。而成本里大约一半是从缓存读回来的 token,总额的三分之二花在主会话,以及主会话在任务单日志之外启动的助手上。每调用一次模型,主会话都要把整段对话重发一遍。缓存部分按输入价的十分之一计费,但我最长的两个主会话平均每次调用带着大约 450,000 个 token 的上下文,积少成多。把主会话缩短,每个阶段重开一个,上下文从文件里喂,省下的应该比任何硬件都多。

还没轮到成本,订阅额度先把我卡住了。一次发布做到一半,每周的 Sonnet 额度用完了,活转到了 Opus 上,跟我的路由规则正好反着来。规则是:归档用脚本或 Haiku,阅读和非核心代码用 Sonnet,规格说明、架构和核心玩法代码用 Opus。

下一步是本地模型

我想把一部分日常的活放到家里的模型上跑,掏钱之前先算了笔账。能迁过去的角色,也就是只做阅读、归档、总结或测试的那些,再加上调研,大约占这一周成本的 8%。我每月固定付 200 美元,所以单算现金,买机器一分钱也省不下。

值得买的理由有两个,额度和重复。额度是因为这些都是 Sonnet 角色,用完的正是 Sonnet 额度。重复是因为我的 QA 校准只跑了 2 轮,盲测只有 8 个回合,每跑一次都要耗额度。本地模型可以一晚上把同一个回合重跑 50 遍,只花电费。

硬件、模型和回本怎么算,写在另一篇笔记里:买机器跑本地模型之前,先算一笔账。

几次小事故

  • 我把 worktree 脚本的输出接到了 head -1,管道一关,脚本跟着挂了,结果所有 Agent 都是在没有 worktree 的情况下启动的,回来全是 BLOCKED。
  • 测试全绿,有个游戏的大厅关卡却没法玩,因为测试只检查了数值。现在每批任务之后必须在真实引擎里跑一遍。
  • 另一次,改了 3 轮之后,挑刺 Agent 给的平均分还是 7.1(满分 10 分)。换了个模型更强的新挑刺 Agent,问它成品和概念图有多接近,它给了 4 到 5 分。现在跑完 2 到 3 轮就由人来定,挑刺 Agent 列的清单进 backlog。

如果你也在搭类似的东西

这套东西才用了一周。它把一个游戏送到了发布,可 8 道门禁里有 6 道不是被跳过就是被我推翻;我也没在受控条件下拿它和不用它的做法比过,所以我不说它更快或更省钱。

要是重来,我会先做埋 bug 这一步。在相信 AI 测试员的“没有 bug”之前,先埋几个已知的 bug,数数它找回来多少,结果按 bug 类别看,还要保证一个埋的 bug 不会挡住另一个。最后这条我两轮都没做对。

缺证据要有单独的判定,而且排得比警告更差,这样没跑的检查就不会被看成通过。验收标准在批准时算哈希,比对时用已批准的副本;哈希和标准放在一起,什么也防不住。能从 API 拿到的事实就用脚本去拿;工具挂了,任务应该停下来说明情况,不能凭记忆接着干。

成本要从会话日志里算,缓存读取也算上。我的任务单日志只看到了其中 5% 左右。

有两条只跟 Claude Code 有关。子 Agent 会收到你的指令文件,项目的和个人的都有,所以如果子 Agent 是来做评估的,就得站在它的位置把这些文件读一遍。还有,在我这套配置里,真正被强制执行的边界只有工具清单。hook 和权限规则是下一步,在那之前,角色文件里其余的内容都只是请求。

关于我全部文章LinkedInpavel@klinkov.com