PAPER / 全文译注
英文原文 ↗
SOFTWARE ENGINEERING · 论文全文翻译

过期指令文件会覆盖
编码智能体中的代码:
一句话修复

Stale Instruction Files Override the Code in Coding Agents: A One-Sentence Fix
Xiaonan Xu1*
1* 佐治亚理工学院计算学院,美国佐治亚州亚特兰大 30332
* 通讯作者:xiaonanxu5@gmail.com
Wenjing Wu2
2 科罗拉多大学博尔德分校计算机科学系,美国科罗拉多州博尔德 80309
共同作者:wuwenjing256@gmail.com
arXiv:2610.30571v1 [cs.SE]2026 年 10 月 22 日14 页 · 完整中文翻译

ABSTRACT / 摘要

目的
编码智能体会遵循项目的指令文件,例如 CLAUDE.md 或 AGENTS.md,即使文件与现有代码不一致,甚至即使它们注意到了这种不一致。我们测量了这种行为,并检验在用户自己的指令文件中加入一句话,是否能让智能体改为遵循代码。
方法
我们构建了 40 个 Python 项目,其中指令文件要求一种约定,而现有代码使用另一种约定,例如要求 print 而代码使用 logging。Claude Code 和 Codex CLI 分别为每个项目添加一项功能;实验在用户级指令文件中有、没有那句“让现有代码优先”的话两种条件下进行,共运行 320 次。
结果
没有这句话时,智能体 90.1% 的选择遵循过期文件。Claude Code 在 80 次运行中有 79 次指出了冲突,却仍然遵循文件。Codex CLI 在 80 次运行中有 20 次重写现有代码以匹配文件,随后项目自身测试在其中 17 次运行中失败。这句话使遵循代码的选择比例从 4.2% 提高到 91.4%,阻止了重写,并将测试通过率从 89.4% 提高到 100%。
结论
我们将这种行为归因于智能体接收两个来源的方式:指令文件作为指令到达模型,代码则作为工具输出到达模型,而模型接受的训练会把后者排在更低的位置。用户今天就可以添加这句话,智能体和模型的开发者也可以将同样的规则内置于产品中。
关键词:编码智能体;指令文件;CLAUDE.md;AGENTS.md;过期文档;指令层级
01

引言

Claude Code 和 Codex CLI 等编码智能体在开始处理项目之前,会读取一个指令文件。Claude Code 读取 CLAUDE.md,Codex CLI 读取 AGENTS.md;开发者用这些文件记录项目如何构建、如何组织以及遵循哪些编码约定 [1–4]。由于智能体在每次会话开始时都会读取该文件,文件会影响智能体做出的每一项修改。

指令文件通常只写一次,之后很少重新审视,而它周围的代码却在不断变化。例如,一个团队把代码从 print 迁移到 logging,却可能在 CLAUDE.md 中留下“使用 print() 输出进度消息”这一行。从那时起,每个处理该项目的智能体都会收到关于同一约定的两种相互冲突的说法:文件要求 print,而每个现有模块都使用 logging。那些会改变代码行为的约定也会发生同样的问题,例如金额如何存储,以及如何向调用者报告错误。

在这种情况下,智能体会遵循文件。Mohammadi 等人 [5] 在他们的每一次试验中都观察到了这一点,而我们的研究展示了它的两种形式。Claude Code 通常会在最终回复中写道:现有代码使用 logging,而文件要求 print;随后却又在新代码中使用 print(图 1)。Codex CLI 在其 80 次运行中的 20 次走得更远:它重写现有模块以匹配文件,随后项目原有测试在其中 17 次运行中失败。因此,过期文件会生成与项目不一致的新代码,还可能导致智能体破坏原本正常工作的代码。

我们将这种行为归因于智能体接收两个来源的方式。智能体软件把指令文件作为指令放入模型上下文,而代码只有通过文件读取工具的输出才能到达模型。模型接受的训练是指令优先于工具输出,这样隐藏在网页或文件中的文本就无法重定向智能体 [6, 7]。同样的训练,也让指令文件中的一句过期描述优先于它曾经描述的代码。

同样的优先级顺序也提供了一种修复方法。我们在用户自己的指令文件中加入一句话,说明文档与代码不一致时现有代码优先。在 40 个项目和两个智能体上,这使智能体从大多数选择遵循过期文件,转变为十分之九的选择遵循代码,而且没有智能体重写现有代码。它无需任何人先找到过期文件就能发挥作用。用户今天就可以使用这句话,智能体软件的开发者也可以把同样的规则内置于产品中。

FIGURE 01一项研究任务 · CLAUDE CODE
项目

CLAUDE.md:“使用 print() 报告警告和状态消息。”

每个现有模块,例如 inventory.py:

logger.info("received %d of %s at %s", quantity, sku, location)
没有这句话

新代码 匹配文件

print(f"warning: {sku} at {location} still short by {missing} units", file=sys.stderr)
最终回复:“约定不一致:新代码遵循 CLAUDE.md(camelCase、NamedTuple、print 到 stderr、unittest),但现有模块和测试并非如此。它们使用 snake_case、dataclasses、logging 和 pytest 风格的函数。”
有这句话

新代码 匹配代码

logger.error("usage: python -m stockroom.transfers LEVELS_CSV RULES_CSV OUTPUT_CSV")
最终回复:“消息:CLAUDE.md 要求使用 print() 输出到 stderr,加 warning: 前缀且不使用 logging,但代码从头到尾都使用 logging。我使用了 logging……”
图 1研究中的一项任务,由 Claude Code 运行。文件要求 print,代码使用 logging。没有这句话时,智能体报告冲突却写入 print;有这句话时,它写入 logging,并列出发现的冲突。
02

指令文件如何过期

指令文件描述的是文件撰写时项目的样子,而大多数文件从未更新。在 441 个公司仓库中,73.8% 的 AI 配置文件只提交过一次,此后再未修改 [8]。在 356 个公共仓库中,一致性检查器在 23.0% 仓库的指令文件里,标记出了对已不再存在的代码的引用 [9]。只生成一次、之后从不审查的文件,也是实践中最常发现的问题之一 [10]。同样的事情也发生在大型、积极维护的项目中(图 2)。Supabase 将其控制面板迁移到 React 19 后,一个技能文件连续 13 天仍告诉智能体:控制面板使用 React 18,应跳过 React 19 的模式。在 Codex CLI 的仓库中,一个 AGENTS.md 文件连续 24 天要求智能体更新一份已被删除的文档。图中所有三个案例里,维护者后来都修正了文件,使其与代码一致。Claude Code 的文档要求用户定期审查文件并删除过期行 [1]。但这依赖于有人注意到哪些行已经出错,而这在大型项目中十分困难。

FIGURE 022026 · 过期时间线
Supabase技能文件 SKILL.md
代码变更:React 18 → 19,5 月 15 日(#45886)文件修正:5 月 28 日(#46415)
“Supabase Studio 目前使用 React 18——在 Studio 代码中跳过这些模式。”
SupabaseCLAUDE.md
代码变更:pnpm 10 → 11,7 月 20 日(#48033)文件修正:7 月 22 日(#48202)
“pnpm 10 + Turborepo monorepo。”
OpenAI Codex聊天编写器的 AGENTS.md
代码变更:docs/tui-chat-composer.md 被删除,5 月 3 日(#20896)文件修正:5 月 27 日(#24641)
“每当行为/假设发生变化时,更新叙述性文档 docs/tui-chat-composer.md……”
0 —— 5 —— 10 —— 15 —— 20 —— 25 天
图 22026 年 Supabase 和 OpenAI Codex 中三个过期的指令文件。每条时间范围从代码变更开始,到修正文件的提交结束。括号中的数字是 github.com/supabase/supabase 和 github.com/openai/codex 中的拉取请求编号。

过期文件会从三个方面影响团队。新代码不再与现有代码一致,因此审查者必须找出并纠正差异。有些约定关乎正确性:当一条过期规则要求用浮点数表示金额时,即使现有代码使用整数美分,智能体也会编写浮点运算 [5]。而且由于文件会在每次会话中加载,同样的错误会在每项任务中、在每个智能体和每位团队成员身上反复出现,直到有人修正文件。在我们的实验中,一个智能体还重写了正常工作的代码以匹配文件(第 5.4 节)。

03

智能体为何遵循文件

这种行为源于当前编码智能体的三个特性:指令文件的书写方式、智能体软件传递它们的方式,以及模型在训练中被要求如何排列输入的优先级。

指令文件以命令的形式描述代码

“使用 print() 输出进度消息”这样的句子以命令形式表述,但它记录的是这句话写下时代码的样子。代码变化后,描述就不再真实,而其命令式措辞仍保持不变。

智能体软件把文件作为指令传递

Claude Code 把 CLAUDE.md 插入紧跟系统提示词之后的用户消息 [1],并用以下文字引出:“代码库和用户指令如下所示。请务必遵守这些指令。重要:这些指令会覆盖任何默认行为,你必须严格按照其原文遵循。”Codex CLI 把 AGENTS.md 放在一条用户消息中,消息标题为项目路径的“AGENTS.md instructions for”,并用 INSTRUCTIONS 标签包裹其内容。两种工具都把用户级文件和项目文件放在同一条消息中,用户级文件在前。只有当智能体打开文件时,现有代码才作为工具调用的输出到达模型(图 3)。

模型让指令优先于工具输出

在指令层级下,模型接受的训练是优先遵循系统消息和用户消息,其次才是工具返回的文本 [6]。OpenAI 的《模型规范》不赋予工具输出任何自身权限 [11],而 2026 年发布的一个训练数据集在当前模型中强化了这种顺序 [7]。其目的是防范提示词注入,例如网页或文件中包含“忽略你之前的指令”这样的文本。编码智能体在实践中表现出相同的顺序:项目文件中的规则优先于工具描述中的规则 [12]。当没有指令涉及某件事时,智能体确实会按照工具输出行动,例如执行工具错误消息建议的步骤 [13]。当指令确实存在时,它们会坚持遵循指令 [14]。

这些特性各自来看都是合理的。这种优先级顺序保护智能体免受注入文本影响,而把指令文件作为指令传递,正是团队约定能够生效的原因。问题出现在文件描述的代码已经变化之后:过期描述仍具有指令的优先级,而当前代码只有较低的工具输出优先级。

同样的顺序也展示了解决冲突的方法。用户级指令文件中一句让现有代码优先的话,会以指令的形式到达模型,方式与项目文件相同。有了它,遵循代码本身就是指令所要求的行为,因此选择发生在两个指令之间。这句话针对的正是这种具体情况——文档与代码不一致;而项目文件中的其他内容,例如构建命令,仍然有效。

这一解释带来两个预测:即使智能体读完代码并注意到冲突,也应当仍遵循过期文件;而那句话应当逆转结果。下面的实验对两者都进行了检验。

FIGURE 03模型实际收到的内容
优先遵循
系统提示词,由智能体开发者编写
用户消息,由 Claude Code 在任务之前插入

“代码库和用户指令如下所示。请务必遵守这些指令。重要:这些指令会覆盖任何默认行为,你必须严格按照其原文遵循。”

用户级文件(含修复句)

“当仓库的文档与现有代码不一致时,请遵循现有代码所用的约定……”

项目 CLAUDE.md

“使用 print() 报告警告和状态消息。”

视为信息
工具输出,在智能体打开 inventory.py 时返回
logger.info("received %d of %s at %s", quantity, sku, location)

Codex CLI 将 AGENTS.md 放在同类用户消息中,置于 INSTRUCTIONS 标签内,但没有“重要”那一行。

图 3Claude Code 中模型收到的内容。指令文件和我们的那句话作为指令到达;现有代码作为工具输出到达,而模型接受的训练是把工具输出视为信息。
04

实验

项目

我们构建了 40 个小型 Python 项目,每个项目包含 3 到 8 个可工作的模块、一套全部通过的测试、一个指令文件和一项功能请求。实现该功能需要在两种约定之间做出 4 或 5 次选择,约定取自图 4 所列的 16 种类型。在每个项目中,现有代码始终使用一种约定,而指令文件要求另一种。每种类型都在不同项目中以两个方向出现,因此模型对某种约定的一般偏好不会偏向任何一种结果。功能请求只描述所需行为,不提约定。

FIGURE 0416 种约定选择

消息

logging 或 print

路径

pathlib 或 os.path

异常类型

内置异常 或 项目自定义类

错误报告方式

raise 或 return (value, error)

测试文件名

test_*.py 或 *_test.py

测试风格

pytest 函数 或 unittest 类

记录类型

dataclass 或 namedtuple

函数名

snake_case 或 camelCase

可选类型

Optional 或 X | None

导入

绝对导入 或 相对导入

泛型类型

typing.List 或 list

字符串格式化

f-strings 或 str.format

文档字符串

reStructuredText 或 Google

金额

整数美分 或 Decimal

配置

dict 或 dataclass

固定值集合

Enum 或 字符串常量
图 416 种选择类型。在每个项目中,指令文件要求一种约定,现有代码使用另一种,并且两个方向都会出现。每种类型出现在 11 或 12 个项目中,每个方向为 5 或 6 个项目。

那句话

每个项目都在用户级指令文件中有、没有下面这句话的两种条件下运行(Claude Code 使用 ~/.claude/CLAUDE.md,Codex CLI 使用 ~/.codex/AGENTS.md):

当仓库的文档与现有代码不一致时,请遵循现有代码所用的约定,并在最终回复中指出你发现的文档与代码之间的每一处不一致。

智能体

我们使用配备 Claude Sonnet 5.5 的 Claude Code 2.1.302,以及配备 GPT-6 Sol 的 Codex CLI 0.163.0,均以非交互模式运行,文件编辑自动获批。每次运行都从项目的全新副本开始,提示词只包含功能请求。每个项目针对每个智能体和每种条件各运行两次,共 320 次运行。

测量方法

一个脚本检查每次运行中新增的代码,并把每个选择分类为匹配指令文件、匹配现有代码或两者都不匹配。第二个模型 Claude Opus 5.5 在不知道实验条件的情况下阅读每份最终回复,记录它是否指出了文件与代码之间的冲突。如果一次运行从运行前已经存在的 Python 文件中删除了 20 行或更多,则计为重写现有代码。每次运行后,我们恢复项目的原始测试文件,将它们与我们为新功能保留的隐藏测试一起运行,并记录工具调用次数和运行时间。附录 A 给出了智能体命令、失败尝试的处理方式和冲突评判器的设置。结果按每个智能体和 16 种类型分别报告,因为总体比率可能掩盖方向相反的变化 [15]。

05

结果

5.1 智能体遵循过期文件

没有这句话时,90.1% 的选择(720 次中的 649 次)匹配过期文件,4.2% 匹配现有代码(图 5a)。两个智能体都表现出这一点:Claude Code 的选择有 86.4% 匹配文件,Codex CLI 为 93.9%。在 16 种选择类型中,文件在 14 种类型上对两个智能体都占据上风(图 5b)。两个例外是“金额”和“配置”,在这两类中,Claude Code 遵循文件的选择不到一半。

FIGURE 05选择分布与分类结果

(a)匹配文件、匹配代码或两者都不匹配的选择比例

匹配文件匹配代码两者都不匹配
Claude Code · 没有这句话较大比例 86.4% · 95% CI [79.7, 92.3]
Claude Code · 有这句话较大比例 94.4% · 95% CI [91.9, 96.9]
Codex CLI · 没有这句话较大比例 93.9% · 95% CI [90.7, 96.7]
Codex CLI · 有这句话较大比例 88.3% · 95% CI [84.8, 91.8]
0% ————— 25% ————— 50% ————— 75% ————— 100%

(b)没有这句话时,按类型划分,匹配过期文件的选择比例

Claude CodeCodex CLI原图以 50% 虚线为基准
消息
路径
异常类型
错误报告方式
测试文件名
测试风格
记录类型
函数名
可选类型
导入
泛型类型
字符串格式化
文档字符串
金额
配置
固定值集合
0% ————— 25% ————— 50% ————— 75% ————— 100%
图 5(a)匹配指令文件、现有代码或两者都不匹配的选择比例。方括号给出较大比例的 95% 区间,由对项目进行 2,000 次重采样得到。(b)没有这句话时,按选择类型划分,匹配过期文件的选择比例;虚线表示 50%。

5.2 Claude Code 报告冲突,却仍遵循文件

Claude Code 在 80 次运行中的 79 次最终回复里指出了冲突,而在这些运行中,其选择的 86.2% 仍然匹配文件(图 6)。一份回复写道:“现有的 concat.py、reader.py、writer.py 和 columns.py 仍使用 logging、pathlib、str.format() 和绝对导入,这违背了 CLAUDE.md。”智能体读取了代码,看到了差异,却认为代码是不合规范的一方。Codex CLI 在 80 份回复中的 2 份指出了冲突。在其 80 次运行中的 60 次,它遵循文件但没有提到冲突;另外 20 次则重写了现有代码。

FIGURE 06每次运行的行为 · 每组 80 次
没有这句话
Claude Code71遵循文件并报告冲突;另有 6 次无多数选择。
Codex CLI60遵循文件,未报告冲突。
20重写现有代码;其中 17 次随后未通过原始测试。
有这句话
Claude Code80遵循代码并报告冲突。
Codex CLI79遵循代码并报告冲突。
0 ————— 20 ————— 40 ————— 60 ————— 80 次运行

当一次运行中超过一半的选择遵循文件或代码时,该次运行就计为遵循文件或代码。灰色:无多数。每一次灰色或蓝色的运行也报告了冲突,因此没有这句话时,Claude Code 在 79 次运行中报告了冲突。

图 6每个智能体在每种条件下 80 次运行分别做了什么。

5.3 一句话让智能体遵循代码

有这句话时,91.4% 的选择(720 次中的 658 次)匹配现有代码,比没有这句话时高 87.2 个百分点(95% 区间为 83.6 至 90.9,由项目重采样得到)。Claude Code 的比例从 7.5% 上升到 94.4%,Codex CLI 从 0.8% 上升到 88.3%(图 5a)。两个智能体在全部 160 次运行中都报告了它们发现的冲突。

5.4 没有这句话时,Codex CLI 重写正常工作的代码

在没有这句话的 80 次运行中,Codex CLI 有 20 次重写现有代码以匹配 AGENTS.md。这些运行涉及 40 个项目中的 12 个,从运行前已经存在的 9 个文件中删除的行数中位数为 198 行。在运行后恢复项目原始测试时,20 次运行中有 17 次测试失败。图 7 展示了其中一次运行:智能体按 AGENTS.md 的要求,把 model.py 中的 Column 枚举替换成字符串常量,原始测试因此无法导入 Column。有这句话时,没有 Codex CLI 运行重写现有代码。Claude Code 在两种条件下都没有重写现有代码。

FIGURE 07一次重写 · KANBANLITE
AGENTS.md

“一组固定的命名值,是一组具有共同前缀的模块级字符串常量……不要使用 enum。”

Codex CLI 的最终回复

“我还让现有代码与仓库的字符串常量、冻结设置和异常约定保持一致……14 项通过。”

这 14 项测试已被智能体重写。

运行前的 model.py · 现有代码
class Column(Enum):
    BACKLOG = "backlog"
    DOING = "doing"
    REVIEW = "review"
    DONE = "done"
运行后的 model.py · 匹配文件
COLUMN_BACKLOG = "backlog"
COLUMN_DOING = "doing"
COLUMN_REVIEW = "review"
COLUMN_DONE = "done"
COLUMNS = (COLUMN_BACKLOG, …)
运行后放回的项目原始测试 · 全部 4 个测试文件失败
from kanbanlite.model import Card, Column, Priority, …
ImportError: cannot import name 'Column' from 'kanbanlite.model'

三个测试文件停在这个导入处。第四个文件中,9 项测试有 8 项失败。

图 7Codex CLI 重写现有代码的 20 次运行之一(kanbanlite 项目,没有这句话)。

5.5 有这句话时,每次运行的测试都通过

没有这句话时,89.4% 的运行通过测试;有这句话时,全部 160 次运行都通过测试。差异来自 Codex CLI,其通过率从 78.8% 上升到 100%,而且它每一次失败的运行都是代码重写。有这句话的运行还使用了略少的工具调用和更少的时间。

两个预测都得到了验证。两种条件之间,过期文件、其措辞及其在上下文中的位置完全相同,唯一新增的是一份关于哪个来源优先的声明。结果遵循这份声明,这与过期文件凭借指令地位占据上风的解释一致。对于 Mohammadi 等人 [5] 留下的开放问题——为什么一条成文规则会覆盖与它矛盾的代码——这提供了一个答案。Claude Code 中那段强调式前言并非必要条件:Codex CLI 不添加这样的文字,却仍在 93.9% 的选择中遵循文件。

06

用户、团队和开发者可以做什么

图 8 总结了每一群体可以采取的步骤。

用户

只需把这句话加入用户已经维护的文件一次,此后它就会应用于每个项目。

智能体软件的开发者

Claude Code 的文档解释了两个指令文件之间的冲突如何处理,但没有涉及指令文件与代码之间的冲突 [1]。我们这句话所陈述的规则,可以放在智能体自己的系统提示词中,从而覆盖每位用户,无需用户采取任何行动。

模型的开发者

指令文件混合了针对智能体的规则和对代码的描述(图 8)。目前的训练把两者都作为指令处理。如果模型能根据代码检查这些描述,就能在无需用户采取任何行动的情况下避免这个问题。

FIGURE 08四类群体的行动清单

编码智能体的用户

在 ~/.claude/CLAUDE.md 或 ~/.codex/AGENTS.md 中加入一句话:

“当仓库的文档与现有代码不一致时,请遵循现有代码所用的约定,并在最终回复中指出你发现的文档与代码之间的每一处不一致。”

依据:第 5.3 节

团队

利用智能体报告的冲突来修正指令文件。

有这句话时,两个智能体在全部 160 次运行中都报告了发现的冲突。

依据:第 5.3 节

智能体软件的开发者

在系统提示词中声明:现有代码优先于指令文件。

这样用户无需自行添加,就能获得这条规则。

依据:第 3 节和第 5.3 节

模型的开发者

训练模型根据代码检查对代码的描述。

“提交前运行测试”是一条规则,应当遵循。“我们使用 print 输出进度消息”是对代码的描述,可以对照代码检查。

依据:第 3 节
图 8每个群体可以做什么。
07

相关工作

近期研究描述了指令文件包含什么内容,以及团队如何维护它们 [3, 4, 8, 10, 16]。另一些研究测量文件如何改变智能体行为,包括任务成功率 [17]、运行时间 [18]、不同类型规则的影响 [19],以及规则被可靠遵循的程度 [12]。我们此前的研究测量了智能体如何响应技能文档 [20, 21]、测试反馈 [22] 和工具错误消息 [13]。这些研究处理的是内容正确的文件,而本研究关注的是已经过期的文件。

检测文档中过期引用的工具已经存在 [23],Treude 和 Baltes [9] 也将其中一种应用于 AI 指令文件。检查器在有人运行时会有所帮助,而这句话会在每项任务中生效。

Mohammadi 等人 [5] 首先表明,智能体会遵循成文规则,而不是与之矛盾的代码。我们表明,智能体即使识别出冲突也会这样做;我们把这种行为追溯到指令层级,并用一句话加以纠正。关于指令层级的研究考察不同等级指令之间的冲突 [6, 7],而我们的结果表明,同样的顺序也决定指令与代码之间的冲突。

08

研究范围

本研究覆盖 40 个 Python 项目,其中指令文件是过时的信息来源,涉及 16 种约定;任务是在单次无人值守运行中完成的功能任务;研究对象是两个智能体:配备 Claude Sonnet 5.5 的 Claude Code,以及配备 GPT-6 Sol 的 Codex CLI。

09

结论

指令文件描述的是项目在某一时间点的状态,而编码智能体在代码已经演进之后仍会继续遵循它们。Claude Code 在自己的回复中指出冲突时依然如此;Codex CLI 有时还会重写正常工作的代码来匹配文件。我们将此归因于:文件作为指令到达模型,而代码作为工具输出到达模型。在用户级指令文件中加入一句让现有代码优先的话,可将遵循代码的选择比例从 4.2% 提高到 91.4%,而且无需任何人先找到并修正过期文件。

10

声明

经费

本研究未获得公共、商业或非营利部门资助机构的任何专项资助。

利益冲突

作者声明,不存在可能影响本研究的经济利益冲突或个人关系。

伦理审批与参与同意

本研究不涉及人类参与者或个人数据。所有运行均为编码智能体与合成 Python 项目之间的交互。因此,伦理审批和参与同意均不适用。

发表同意

不适用。

数据与代码可用性

项目、任务、运行记录和分析脚本可在 github.com/WenJing95/stale-docs-data 获取。

A

附录 A:运行设置

智能体命令

两个智能体均在项目的全新副本中以无交互方式运行,功能请求通过标准输入提供,时间限制为 1,800 秒。Claude Code 的运行命令为:

claude -p --model sonnet --permission-mode acceptEdits
  --output-format stream-json --verbose --strict-mcp-config
  --allowedTools "Bash(python *)" "Bash(python3 *)" "Bash(py *)" "Bash(pytest *)"
    "PowerShell(python *)" "PowerShell(python3 *)" "PowerShell(py *)"
    "PowerShell(pytest *)"
  --disallowedTools "Bash(pip *)" "Bash(python -m pip *)" "Bash(python3 -m pip *)"
    "Bash(py -m pip *)" "PowerShell(pip *)" "PowerShell(python -m pip *)"
    "PowerShell(python3 -m pip *)" "PowerShell(py -m pip *)"

环境变量包括 CLAUDE_CONFIG_DIR(专用文件夹,存放该条件下用户级 CLAUDE.md)、CLAUDE_CODE_DISABLE_AUTO_MEMORY=1、DISABLE_AUTOUPDATER=1 和 PYTHONIOENCODING=utf-8。Codex CLI 的运行命令为:

codex exec -s danger-full-access -m gpt-6-sol --json
  -o <run folder>/final_reply.txt -C <project copy> -

环境变量包括 CODEX_HOME(专用文件夹,存放该条件下用户级 AGENTS.md)、PIP_REQUIRE_VIRTUALENV=1 和 PYTHONIOENCODING=utf-8。在任一智能体启动前,从环境中移除名称以 CLAUDE、ANTHROPIC、OPENAI、CODEX、AWS、GOOGLE、VERTEX、BEDROCK 或 MCP 开头的变量,以及变量 DISABLE_TELEMETRY、DISABLE_PROMPT_CACHING、DISABLE_FEEDBACK_COMMAND、DISABLE_AUTOUPDATER、PYTHONPATH、PYTHONSTARTUP、PYTHONHOME 和 VIRTUAL_ENV。

失败尝试

因使用额度限制而停止的运行,会在智能体报告的重置时间过后 120 秒,从项目全新副本重新开始(最多等待 6 小时);若未报告重置时间,则在 30 分钟后重启。因登录问题而停止的运行,会在 15 分钟后从项目全新副本重新开始。这两种情况都不计为一次尝试。超时、崩溃或命令被沙箱拒绝后,会从项目全新副本重复运行一次;第二次失败会使该次运行无效。有一次运行在沙箱拒绝后重复执行,全部 320 次运行均有效。

冲突评判器

评判标准包含在数据包中,并在首次运行前确定。所有有效运行的最终回复都被打乱顺序,并分别赋予一个不透明标识符,因此评判器只能看到标识符和回复,看不到条件、智能体、任务或代码变更。每份回复都在一个新的空文件夹中,通过以下命令单独调用评判:

claude -p --model opus --safe-mode --tools "" --strict-mcp-config
  --no-session-persistence --output-format json
  --json-schema <schema> --system-prompt-file criteria/conflict_criteria.md

所使用的配置文件夹,是 Claude Code 在没有这句话的条件下使用的配置文件夹。safe-mode 选项还会关闭指令文件、技能、插件、钩子和 MCP 服务器。评判器返回 YES 或 NO;对于 YES,给出陈述冲突的句子作为证据。每次调用的时间限制为 600 秒,最多尝试三次。

↗

参考文献

  1. Anthropic,2026。《Claude 如何记住你的项目》。Claude Code 文档。code.claude.com/docs/en/memory。访问日期:2026 年 10 月 20 日。
  2. AGENTS.md,2025。《AGENTS.md:一种用于指导编码智能体的简单、开放格式》。agents.md。访问日期:2026 年 10 月 21 日。
  3. Chatlatanagulchai, W.、Thonglek, K.、Reid, B.、Kashiwa, Y.、Leelaprute, P.、Rungsawang, A.、Manaskasemsak, B.、Iida, H.,2025。《论智能体编码清单的使用:一项关于 Claude Code 的实证研究》,载于《以产品为中心的软件过程改进》(PROFES 2025)。Springer。doi:10.1007/978-3-032-12089-2_40。
  4. Mohsenimofidi, S.、Galster, M.、Treude, C.、Baltes, S.,2026。《开源软件中 AI 智能体的上下文工程》,载于《第 23 届软件仓库挖掘国际会议论文集》(MSR ’26)。ACM。arXiv:2510.21413。
  5. Mohammadi, B.、Klein, L.、Chadha, A.、Arora, A.、Bindschaedler, L.,2026。《编码智能体的工作集:仓库规模任务中的一致性债务》。arXiv:2608.16630。
  6. Wallace, E.、Xiao, K.、Leike, R.、Weng, L.、Heidecke, J.、Beutel, A.,2024。《指令层级:训练大语言模型优先处理高权限指令》。arXiv:2404.13208。
  7. Guo, C.、Ceron Uribe, J.F.、Zhu, S.、Choquette-Choo, C.A.、Lin, S.、Kandpal, N.、Nasr, M.、Rai、Toyer, S.、Wang, M.、Yu, Y.、Beutel, A.、Xiao, K.,2026。《IH-Challenge:用于改进前沿大语言模型指令层级的训练数据集》。arXiv:2603.10521。
  8. Denisov-Blanch, Y.、Agarwal, S.、Azaletskiy, P.、He, H.、Schaeffer, R.、Miranda, B.、Vasilescu, B.、Koyejo, S.,2026。《几页 Markdown:编码智能体采用后的 AI 配置提交与更低的质量成本》。arXiv:2608.25241。
  9. Treude, C.、Baltes, S.,2026。《AI 辅助软件开发中的上下文腐坏:将文档一致性研究重新用于 AI 配置构件》。arXiv:2606.09090。
  10. dos Santos, H.V.F.、Costa, V.、Montandon, J.E.、Silva, L.L.、Valente, M.T.,2026。《AGENTS.md 文件中的配置异味:配置编码智能体时的常见错误》。arXiv:2606.15828。
  11. OpenAI,2025。《OpenAI 模型规范》。model-spec.openai.com。访问日期:2026 年 10 月 21 日。
  12. Huang, Z.、Que, H.、Zeng, H.、Zhang, G.、Wang, Z.、Chen, J.、Wang, H.、Hou, Z.、Pu, C.、Yan, S.、Huang, W.,2026。《Harness-IF:评估编码智能体跨指令载体的指令遵循能力》。arXiv:2608.11727。
  13. Xu, X.、Wu, W.,2026。《为开发者编写的 MCP 错误消息,对能力最强的智能体伤害最大》。arXiv:2609.35381。
  14. Xu, X.、Wu, W.,2026。《对于语言模型智能体的日常办公工作,较低推理强度已经足够》。arXiv:2608.03169。
  15. Xu, X.、Wu, W.,2026。《聚合分数遗漏了什么:衡量商业大语言模型 API 迁移中的项目级退化》。arXiv:2608.17719。
  16. Galster, M.、Mohsenimofidi, S.、Böhme, L.、Lulla, J.L.、Abubakar, M.A.、Treude, C.、Baltes, S.,2026。《一个智能体式 AI 编码工具配置数据集》,载于《第 3 届 ACM AI 驱动软件国际会议论文集》(AIware ’26)。ACM,第 314–322 页。doi:10.1145/3805760.3814922。
  17. Gloaguen, T.、Mündler, N.、Müller, M.、Raychev, V.、Vechev, M.,2026。《评估 AGENTS.md:仓库级上下文文件对编码智能体是否有帮助?》,载于 ICLR 2026“基于大语言模型的智能体系统的记忆”研讨会。arXiv:2602.11988。
  18. Lulla, J.L.、Mohsenimofidi, S.、Galster, M.、Zhang, J.M.、Baltes, S.、Treude, C.,2026。《论 AGENTS.md 文件对 AI 编码智能体效率的影响》。arXiv:2601.20404。
  19. Zhang, X.、Wang, G.、Cui, Y.、Qiu, W.、Li, Z.、Zhu, B.、He, P.,2026。《护栏优于指导:关于编码智能体规则、技能和持久配置的大规模研究》。arXiv:2604.11088。
  20. Xu, X.、Wu, W.,2026。《大语言模型智能体中的技能可用性与呈现粒度:一项受控 SkillsBench 研究》。arXiv:2605.31408。
  21. Xu, X.、Wu, W.,2026。《缩短智能体技能不会降低大语言模型智能体成本》。arXiv:2607.03048。
  22. Xu, X.、Wu, W.,2026。《大语言模型修复智能体中的验证证据:通过的内容中,究竟有多少真正测试了缺陷?》arXiv:2607.28871。
  23. Tan, W.S.、Wagner, M.、Treude, C.,2024。《检测软件仓库文档中过期的代码元素引用》。《实证软件工程》29,5。