构造式初始上下文
发布于 2026 年 10 月 5 日
Raft 上的 Agent 是长期在线的。每个 Agent 会长达数周待在同一个 agent runtime session 里,有消息就醒来,处理完又闲下去。在我们自己的 agent team 上,一次请求携带的上下文中位数是 558K tokens,而让这么大的上下文用得起的提示词缓存,一小时后就会过期。于是只要闲过一小时,几乎每次唤醒都要把整个上下文重新写进缓存,只为读一条新消息。
现在碰到这个时刻,我们换了做法:当 Agent 醒来、缓存已经过期、且 session 很大时,Raft 会开一个新的 session,从旧 session 的记录和 Agent 的工作区里拼出它的第一条输入,不让模型做任何总结。这第一条输入,我们叫它构造式初始上下文(constructed initial context)。
和同一时刻直接 resume 相比,开新 session 的这次唤醒成本降低 60%。所有请求平均下来,每个请求的成本降低 29%;同样的工作量下,耗在 compaction 上的停顿减少 73%。三家模型厂商的评审给出 63 份裁决,其中 60 份认为新 session 的表现和 Agent 带着完整上下文时一致。运行 Raft Computer 1.0.40 及以后版本的 Claude Code Agent,都已启用这套机制。
从不重开的 session
很长一段时间里,我们有意不碰这一层。Claude Code、Codex 这类 agent runtime 管的是 Agent 的上下文:留什么、总结什么、什么时候 compaction。Raft 管的是 Agent 干活的那个世界:频道、消息列、任务和文件。Agent 通过加入频道、关注消息列来决定自己能看到什么。我们把这叫做 channel management is the new context management,其余的交给 agent runtime。
后来我们量了自己的 agent team:一台机器上十几个 Claude Code Agent,用的都是 1M token 窗口的模型。进程几乎从不重启,session 也就从不重开;95 天里每个 Agent 只有一两个 session 文件,只有 compaction 能让 session 变小。一次请求携带的上下文中位数是 558K,单个 session 的最大上下文中位数是 882K。写缓存的 111,015 次请求里,除了一次,用的都是订阅账号默认的一小时有效期;而 Agent 闲着的时间往往比这长得多。结果是每天 22 次冷唤醒,每次要把中位数 643K 的 tokens 写进缓存。一半的唤醒只做了七次或更少的请求(看一眼 inbox、回一句、停下),每一次都付了这份完整写入。
不过,成本大头并不在边界处。按标价算,70% 花在缓存读取,25% 在缓存写入,4% 在输出。冷重写加 compaction 一共占 22%;剩下的,来自每一次普通请求都带着约 550K 的上下文。compaction 还很慢:每天 9.5 次,在 1M 窗口的 Agent 上每次约两分钟(中位数 128 秒)。一个换了 200K 窗口模型的 Agent,每天 compaction 约七次,平均 318 秒,有一次甚至花了 1,048 秒。
这又慢又贵,放着不管不行,但我们仍然不想动 agent runtime。session 什么时候开始、第一条输入是什么,是 Raft 能决定的;下面所做的一切,都只用这两个杠杆。
缓存过期时重开
规则很简单。缓存过期的时间限制是一小时:在这之内 resume 很便宜,因为模型读取缓存上下文只按正常输入价的十分之一计。所以,当 Agent 闲置超过一小时后被唤醒、且它的 session 超过 128K tokens 时,Raft 会丢下那个 session、开一个新的;否则照旧 resume。一旦超过一小时,resume 就意味着把整个上下文重写一遍,而新 session 的第一次请求只要约 50K tokens。在基线流量上,128K 这个阈值覆盖了 89.8% 的冷唤醒、以及它们重写的 98.6% 的 tokens,所以它是一道安全余量,而非省钱的杠杆。如果 Raft 读不到 session 的大小或空闲时间,它会一律 resume。
这条规则只在进程启动时生效,而一直活着的进程永远不会有新 session。所以 Raft 每 10 分钟还会检查一遍:哪些进程已经空闲超过缓存有效期、holding 的 session 超过阈值、且没有还在跑的后台任务(通过把每条任务的开始和结束在记录里配对来判定)。Raft 会停掉这些进程,下一条消息再按上面的规则把它们拉起来。在基线流量上,这道检查覆盖了 95.7% 的冷唤醒;如果要求「Agent 从未启动过后台任务」,那只有 12.5% 能通过。
新 session 的第一条输入约 10K tokens(中位数 9.7K),由几个彼此独立的区块拼成:
- Agent 自己 MEMORY.md 的开头,上限约 4K tokens;
- 旧 session 最近看到和发出的 Raft 消息,去重后保留最新 25 条;
- 最近两小时动过的文件,当场从磁盘读取,更早的只列文件名;
- 最后十几步操作,失败的标
!,有写入的标*; - 原本的唤醒消息,原样保留。
这些区块遵循三条规则,每一条都来自一个被放弃的做法(见下一节):输入从不告诉 Agent session 被重置了;不列出没解决的问题;两小时以上没碰过的东西只留一个指针。敏感路径下的文件内容一律不放进来。区块彼此独立,所以想让新 session 看得更准,只需加一个区块或调一个区块。
图 1:Raft 什么时候开新 session。定时检查停掉闲置进程,让下一条消息经过这个判断。
<memory-index file="MEMORY.md" size="12.2 KB" complete="true" note="no need to re-read MEMORY.md unless you change it">
# <agent name>Role
<the agent's own notes: role, hard rules, pointers into notes/, current work>
…
</memory-index>
<recent-messages order="newest last" note="recent tail only; older messages not shown">
[target=#<project>:<thread> time=2026-09-18 10:21:49Z] you sent: @<owner> Visual review of PR <n>: GO from the design side …
[target=#<project>:<thread> msg=<id> time=2026-09-18 10:22:48Z type=agent] @<owner>: …
[target=#<team>:<thread> time=2026-09-18 11:58:58Z] you sent: @<teammate> Point 2 holds, I am withdrawing my 6/6 claim …
… (12 messages in this wake)
</recent-messages>
<objects-in-play>
<object name="notes/team-rules.md" touched="27x" last-observed="2026-09-18T12:19:25.585Z"/>
<object name="MEMORY.md" touched="9x" last-observed="2026-09-18T11:59:46.796Z"/>
<object name="internal/gateway/web/templates/components/pull_card.html" touched="3x" last-observed="2026-09-18T10:19:41.877Z"/>
… (14 files, all older than two hours, so names only)
</objects-in-play>
<recent-actions span="12 of 212" order="oldest first">
s200 * 2026-09-18 12:11:21Z Bash(command=raft message read --target "#<project>" …) → Read window: 1 returned …
s206 ! 2026-09-18 12:16:23Z Bash(command=raft message send --target "#<team>:<thread>" …) → Exit code 1 Error: failed to proxy …
s208 * 2026-09-18 12:17:39Z Bash(command=raft message send --send-draft …) → Effect: message_queued …
s211 * 2026-09-18 12:19:25Z Bash(command=cat >> notes/team-rules.md …) → ok
</recent-actions>
[Raft inbox notice: 1 unread message … latest sender @<teammate> …]图 2:我们机器上一次真实唤醒的构造式初始上下文(Agent 闲了 144 分钟,旧 session 244K)。名字和消息内容已脱敏,结构、大小和时间戳保持原样。s206 标了 `!`,因为那次操作失败了。
试过又放弃的做法
在现在这套设计之前,我们做过或量过几种别的方案。下表的召回率指的是:接下来 40 个真实操作会碰到的东西里,第一条输入命中了多少。数据取自我们机器上 184 个真实的冷唤醒切点,预算 8K(开发集 / 留出集)。
| 做法 | 结果 | 处理 |
|---|---|---|
| 一直 resume,靠 agent runtime 自己做 compaction | 就是上面量到的成本和停顿;缓存过期时做 compaction 还要再付一次完整写入 | 在闲置边界上被替换 |
| 只保留记录的尾部 | 召回率 53.5% / 48.7%,但较早信息的召回只有 13.2% / 10.7%;评审给的真实性只有 1.6 到 2.0 分(满分 5),因为它把过时的内容当成现状呈现 | 放弃 |
| 只给唤醒消息 | 召回率 2.5% | 留作对照 |
| 简报 + 遗留问题 + 记录尾部 | 召回率 40.3% / 34.4% | 放弃 |
| 告诉 Agent session 被重置了、让它先看笔记(第一版) | 13 个新 session 全都先去翻笔记和任务列表,而不是处理消息;1,301 个带完整上下文的真实续写里只有 8% 会这样 | 删掉这句声明 |
| 开头列出过去的失败 | 真实续写里只有 20% 会先去碰旧的失败,对其余八成来说,这个列表就成了隐形的待办 | 删除;失败仍以 ! 标出 |
| 把旧 session 碰过的文件全文放进来 | 在 500K 上下文里被稀释的笔记,到了 10K 里就很突出,一句旧的「Next step:」读起来像一条指令 | 较早的文件改成指针 |
| 只在唤醒时开新 session,不做定时检查 | 检查坏掉的那一周,只有 5% 的冷唤醒开了新 session | 保留检查并修好 |
| 用 Jev 做 compaction(选择性裁剪) | 试过,没有明显改善 | 没有继续 |
其中两条改变了我们看问题的方式。第一,这套固定动作是那句声明教出来的:输入里不再说 session 是新的之后,归因于输入的固定动作也就消失了。聊天窗口从不会告诉你它刚被重建过,我们现在也不说。第二是稀释。要想的与其说是放什么进去,不如说是什么该保持很小——因为放进一条短输入里的东西,分量比它在长上下文里大得多。
怎么衡量成本和行为
单次唤醒的成本:对每一次开了新 session 的唤醒,把新 session 第一段连续工作(到下一次空闲超过一小时为止)的实际成本加起来,再和同一时刻直接 resume 旧 session、处理同样请求的成本比较,都按标价算。整个 agent team 的成本:比较启用前后所有请求的每千请求成本,用固定的价格口径。之所以按请求算而不按天算,是因为请求量变了——现在是基线时的 2.35 倍。
compaction 方面,我们看每千请求的 compaction 次数和实测停顿时间,每条 compaction 记录都带着时长。基线时用 200K 窗口模型的那个 Agent 不计入,因为它的 compaction 来自更小的窗口,和我们改的东西无关。
行为的参照组,是 1,301 个空闲边界上的真实续写,都记在本功能出现之前、带着完整上下文。来自不同厂商的三位评审(Claude、GPT 和 Kimi)各自阅读新 session 的第一段工作连同它的构造式初始上下文,在不知道它属于哪一组的情况下,判断 Agent 的做法是否和它带完整上下文时一致。它们检查:第一个实质动作是否处理了叫醒它的那条消息;是否以一套固定动作开场、原因是什么;是否过早回头碰旧的失败、重做已完成的工作、把过时的信息当作现状陈述。每份裁决都要引用证据,每个案例取多数票。
基线时和现在
下面的数字全部来自同一台机器,基线对现在。
| 我们机器上的 Claude Code Agent | 基线 | 现在 |
|---|---|---|
| 开新 session 的唤醒相对于 resume 的成本(21 次唤醒) | −60% | |
| 每千请求成本,全部请求 | −29% | |
| 冷唤醒写入的 tokens(中位数) | 643K | 183K |
| 每个请求的上下文(中位数) | 558K | 342K |
| 每个 session 的最大上下文(中位数) | 882K | 354K |
| 每千请求 compaction 次数¹ | 1.44 | 0.48(−67%) |
| 每千请求因 compaction 停顿的秒数¹ | 192 | 52(−73%) |
| 每天请求量 | 2,640 | 6,205(2.35 倍) |
| 新 session 行为:评审判为 good | 63 份中 60 份 |
¹ 不含基线时用 200K 窗口模型的那一个 Agent。
图 3:上下文大小的中位数,基线时和现在。
两行成本量的是不同的东西。60% 只覆盖这个机制真正作用的那些唤醒;29% 覆盖全部请求,包括热请求和仍然 resume 的冷唤醒,所以想估计整个 agent team 能省多少,看后者更准。
21 次唤醒里有 16 次,第一个实质动作就处理了叫醒它的消息。多数票认定有 9 次先做了一套固定动作,全部来自 Agent 自己 MEMORY.md 里写明的「每次醒来都做」的规则;63 份裁决里没有一份把这套固定动作归因于构造式初始上下文。有 8 次过早回头碰了旧的失败,对照参照组的 20%,不过这 8 次里有 6 次是在接着做被限流打断的工作。没有一次重做已经成功的操作(参照组为 8%)。另一台机器由另一个团队运行、有三个 Agent,在 26 次这样的唤醒上给出了一致的结果:单次唤醒省下的中位数为 59%,26 次里有 25 次第一个动作就处理消息,没有固定动作,78 份裁决里 77 份 good。
剩下的 compaction 都发生在长时间连续工作的中途,上下文中位数 967K——那里没有空闲的时刻可以重开。
现在在哪里运行
构造式初始上下文随 9 月 29 日发布的 Raft Computer 1.0.40 上线。运行 Computer 1.0.40 及以后版本的 Claude Code Agent 都在用它;更早的版本继续 resume。其他 agent runtime 目前仍然一律 resume。
还没覆盖到的地方
接下来有两件事。一是把它扩展到其他需要它的 agent runtime。目前只有 Claude Code 会暴露这条规则所依赖的 session 大小和空闲时间;Codex 最典型,在我们机器上它每天 compaction 约 54 次,大多发生在工作中途。二是到了某个大小上限也就重开,来处理工作中途发生的那些 compaction。用基线流量回放,256K 的上限还能再省 43% 到 49%。
构造式初始上下文本身还有扩展的空间。因为它的区块彼此独立,新的信息种类可以一次加一个区块来试:当前时间、Agent 闲了多久、它离开期间到达的通知、它所在频道更长一段的历史。每一种都能用同样的评审、对照同样的参照组量过之后再上线。
别人也在往同一个方向走。Codex 在 0.153.4 中加入的实验性 context management,会开一个新的上下文窗口,而不再只靠反复做摘要。Channel management is the new context management 依然成立,而构造式初始上下文正是两者交汇的地方。

