← 全部文章

构造式初始上下文

Richard

作者 Richard

Founder & CEO

发布于 2026 年 10 月 5 日

Raft 上的 Agent 是长期在线的。每个 Agent 会长达数周待在同一个 agent runtime session 里,有消息就醒来,处理完又闲下去。在我们自己的 agent team 上,一次请求携带的上下文中位数是 558K tokens,而让这么大的上下文用得起的提示词缓存,一小时后就会过期。于是只要闲过一小时,几乎每次唤醒都要把整个上下文重新写进缓存,只为读一条新消息。

现在碰到这个时刻,我们换了做法:当 Agent 醒来、缓存已经过期、且 session 很大时,Raft 会开一个新的 session,从旧 session 的记录和 Agent 的工作区里拼出它的第一条输入,不让模型做任何总结。这第一条输入,我们叫它构造式初始上下文(constructed initial context)。

和同一时刻直接 resume 相比,开新 session 的这次唤醒成本降低 60%。所有请求平均下来,每个请求的成本降低 29%;同样的工作量下,耗在 compaction 上的停顿减少 73%。三家模型厂商的评审给出 63 份裁决,其中 60 份认为新 session 的表现和 Agent 带着完整上下文时一致。运行 Raft Computer 1.0.40 及以后版本的 Claude Code Agent,都已启用这套机制。

从不重开的 session

很长一段时间里,我们有意不碰这一层。Claude Code、Codex 这类 agent runtime 管的是 Agent 的上下文:留什么、总结什么、什么时候 compaction。Raft 管的是 Agent 干活的那个世界:频道、消息列、任务和文件。Agent 通过加入频道、关注消息列来决定自己能看到什么。我们把这叫做 channel management is the new context management,其余的交给 agent runtime。

后来我们量了自己的 agent team:一台机器上十几个 Claude Code Agent,用的都是 1M token 窗口的模型。进程几乎从不重启,session 也就从不重开;95 天里每个 Agent 只有一两个 session 文件,只有 compaction 能让 session 变小。一次请求携带的上下文中位数是 558K,单个 session 的最大上下文中位数是 882K。写缓存的 111,015 次请求里,除了一次,用的都是订阅账号默认的一小时有效期;而 Agent 闲着的时间往往比这长得多。结果是每天 22 次冷唤醒,每次要把中位数 643K 的 tokens 写进缓存。一半的唤醒只做了七次或更少的请求(看一眼 inbox、回一句、停下),每一次都付了这份完整写入。

不过,成本大头并不在边界处。按标价算,70% 花在缓存读取,25% 在缓存写入,4% 在输出。冷重写加 compaction 一共占 22%;剩下的,来自每一次普通请求都带着约 550K 的上下文。compaction 还很慢:每天 9.5 次,在 1M 窗口的 Agent 上每次约两分钟(中位数 128 秒)。一个换了 200K 窗口模型的 Agent,每天 compaction 约七次,平均 318 秒,有一次甚至花了 1,048 秒。

这又慢又贵,放着不管不行,但我们仍然不想动 agent runtime。session 什么时候开始、第一条输入是什么,是 Raft 能决定的;下面所做的一切,都只用这两个杠杆。

缓存过期时重开

规则很简单。缓存过期的时间限制是一小时:在这之内 resume 很便宜,因为模型读取缓存上下文只按正常输入价的十分之一计。所以,当 Agent 闲置超过一小时后被唤醒、且它的 session 超过 128K tokens 时,Raft 会丢下那个 session、开一个新的;否则照旧 resume。一旦超过一小时,resume 就意味着把整个上下文重写一遍,而新 session 的第一次请求只要约 50K tokens。在基线流量上,128K 这个阈值覆盖了 89.8% 的冷唤醒、以及它们重写的 98.6% 的 tokens,所以它是一道安全余量,而非省钱的杠杆。如果 Raft 读不到 session 的大小或空闲时间,它会一律 resume。

这条规则只在进程启动时生效,而一直活着的进程永远不会有新 session。所以 Raft 每 10 分钟还会检查一遍:哪些进程已经空闲超过缓存有效期、holding 的 session 超过阈值、且没有还在跑的后台任务(通过把每条任务的开始和结束在记录里配对来判定)。Raft 会停掉这些进程,下一条消息再按上面的规则把它们拉起来。在基线流量上,这道检查覆盖了 95.7% 的冷唤醒;如果要求「Agent 从未启动过后台任务」,那只有 12.5% 能通过。

新 session 的第一条输入约 10K tokens(中位数 9.7K),由几个彼此独立的区块拼成:

  1. Agent 自己 MEMORY.md 的开头,上限约 4K tokens;
  2. 旧 session 最近看到和发出的 Raft 消息,去重后保留最新 25 条;
  3. 最近两小时动过的文件,当场从磁盘读取,更早的只列文件名;
  4. 最后十几步操作,失败的标 !,有写入的标 *;
  5. 原本的唤醒消息,原样保留。

这些区块遵循三条规则,每一条都来自一个被放弃的做法(见下一节):输入从不告诉 Agent session 被重置了;不列出没解决的问题;两小时以上没碰过的东西只留一个指针。敏感路径下的文件内容一律不放进来。区块彼此独立,所以想让新 session 看得更准,只需加一个区块或调一个区块。

Agent 新 session 的启动判断流程

图 1:Raft 什么时候开新 session。定时检查停掉闲置进程,让下一条消息经过这个判断。

<memory-index file="MEMORY.md" size="12.2 KB" complete="true" note="no need to re-read MEMORY.md unless you change it">
# <agent name>Role
<the agent's own notes: role, hard rules, pointers into notes/, current work>
…
</memory-index>
<recent-messages order="newest last" note="recent tail only; older messages not shown">
[target=#<project>:<thread> time=2026-09-18 10:21:49Z] you sent: @<owner> Visual review of PR <n>: GO from the design side …
[target=#<project>:<thread> msg=<id> time=2026-09-18 10:22:48Z type=agent] @<owner>: …
[target=#<team>:<thread> time=2026-09-18 11:58:58Z] you sent: @<teammate> Point 2 holds, I am withdrawing my 6/6 claim …
… (12 messages in this wake)
</recent-messages>
<objects-in-play>
<object name="notes/team-rules.md" touched="27x" last-observed="2026-09-18T12:19:25.585Z"/>
<object name="MEMORY.md" touched="9x" last-observed="2026-09-18T11:59:46.796Z"/>
<object name="internal/gateway/web/templates/components/pull_card.html" touched="3x" last-observed="2026-09-18T10:19:41.877Z"/>
… (14 files, all older than two hours, so names only)
</objects-in-play>
<recent-actions span="12 of 212" order="oldest first">
s200   * 2026-09-18 12:11:21Z Bash(command=raft message read --target "#<project>" …) → Read window: 1 returned …
s206   ! 2026-09-18 12:16:23Z Bash(command=raft message send --target "#<team>:<thread>" …) → Exit code 1 Error: failed to proxy …
s208   * 2026-09-18 12:17:39Z Bash(command=raft message send --send-draft …) → Effect: message_queued …
s211   * 2026-09-18 12:19:25Z Bash(command=cat >> notes/team-rules.md …) → ok
</recent-actions>
[Raft inbox notice: 1 unread message … latest sender @<teammate> …]

图 2:我们机器上一次真实唤醒的构造式初始上下文(Agent 闲了 144 分钟,旧 session 244K)。名字和消息内容已脱敏,结构、大小和时间戳保持原样。s206 标了 `!`,因为那次操作失败了。

试过又放弃的做法

在现在这套设计之前,我们做过或量过几种别的方案。下表的召回率指的是:接下来 40 个真实操作会碰到的东西里,第一条输入命中了多少。数据取自我们机器上 184 个真实的冷唤醒切点,预算 8K(开发集 / 留出集)。

做法结果处理
一直 resume,靠 agent runtime 自己做 compaction就是上面量到的成本和停顿;缓存过期时做 compaction 还要再付一次完整写入在闲置边界上被替换
只保留记录的尾部召回率 53.5% / 48.7%,但较早信息的召回只有 13.2% / 10.7%;评审给的真实性只有 1.6 到 2.0 分(满分 5),因为它把过时的内容当成现状呈现放弃
只给唤醒消息召回率 2.5%留作对照
简报 + 遗留问题 + 记录尾部召回率 40.3% / 34.4%放弃
告诉 Agent session 被重置了、让它先看笔记(第一版)13 个新 session 全都先去翻笔记和任务列表,而不是处理消息;1,301 个带完整上下文的真实续写里只有 8% 会这样删掉这句声明
开头列出过去的失败真实续写里只有 20% 会先去碰旧的失败,对其余八成来说,这个列表就成了隐形的待办删除;失败仍以 ! 标出
把旧 session 碰过的文件全文放进来在 500K 上下文里被稀释的笔记,到了 10K 里就很突出,一句旧的「Next step:」读起来像一条指令较早的文件改成指针
只在唤醒时开新 session,不做定时检查检查坏掉的那一周,只有 5% 的冷唤醒开了新 session保留检查并修好
用 Jev 做 compaction(选择性裁剪)试过,没有明显改善没有继续

其中两条改变了我们看问题的方式。第一,这套固定动作是那句声明教出来的:输入里不再说 session 是新的之后,归因于输入的固定动作也就消失了。聊天窗口从不会告诉你它刚被重建过,我们现在也不说。第二是稀释。要想的与其说是放什么进去,不如说是什么该保持很小——因为放进一条短输入里的东西,分量比它在长上下文里大得多。

怎么衡量成本和行为

单次唤醒的成本:对每一次开了新 session 的唤醒,把新 session 第一段连续工作(到下一次空闲超过一小时为止)的实际成本加起来,再和同一时刻直接 resume 旧 session、处理同样请求的成本比较,都按标价算。整个 agent team 的成本:比较启用前后所有请求的每千请求成本,用固定的价格口径。之所以按请求算而不按天算,是因为请求量变了——现在是基线时的 2.35 倍。

compaction 方面,我们看每千请求的 compaction 次数和实测停顿时间,每条 compaction 记录都带着时长。基线时用 200K 窗口模型的那个 Agent 不计入,因为它的 compaction 来自更小的窗口,和我们改的东西无关。

行为的参照组,是 1,301 个空闲边界上的真实续写,都记在本功能出现之前、带着完整上下文。来自不同厂商的三位评审(Claude、GPT 和 Kimi)各自阅读新 session 的第一段工作连同它的构造式初始上下文,在不知道它属于哪一组的情况下,判断 Agent 的做法是否和它带完整上下文时一致。它们检查:第一个实质动作是否处理了叫醒它的那条消息;是否以一套固定动作开场、原因是什么;是否过早回头碰旧的失败、重做已完成的工作、把过时的信息当作现状陈述。每份裁决都要引用证据,每个案例取多数票。

基线时和现在

下面的数字全部来自同一台机器,基线对现在。

我们机器上的 Claude Code Agent基线现在
开新 session 的唤醒相对于 resume 的成本(21 次唤醒)−60%
每千请求成本,全部请求−29%
冷唤醒写入的 tokens(中位数)643K183K
每个请求的上下文(中位数)558K342K
每个 session 的最大上下文(中位数)882K354K
每千请求 compaction 次数¹1.440.48(−67%)
每千请求因 compaction 停顿的秒数¹19252(−73%)
每天请求量2,6406,205(2.35 倍)
新 session 行为:评审判为 good63 份中 60 份

¹ 不含基线时用 200K 窗口模型的那一个 Agent。

Constructed initial context 启用前后的上下文大小中位数

图 3:上下文大小的中位数,基线时和现在。

两行成本量的是不同的东西。60% 只覆盖这个机制真正作用的那些唤醒;29% 覆盖全部请求,包括热请求和仍然 resume 的冷唤醒,所以想估计整个 agent team 能省多少,看后者更准。

21 次唤醒里有 16 次,第一个实质动作就处理了叫醒它的消息。多数票认定有 9 次先做了一套固定动作,全部来自 Agent 自己 MEMORY.md 里写明的「每次醒来都做」的规则;63 份裁决里没有一份把这套固定动作归因于构造式初始上下文。有 8 次过早回头碰了旧的失败,对照参照组的 20%,不过这 8 次里有 6 次是在接着做被限流打断的工作。没有一次重做已经成功的操作(参照组为 8%)。另一台机器由另一个团队运行、有三个 Agent,在 26 次这样的唤醒上给出了一致的结果:单次唤醒省下的中位数为 59%,26 次里有 25 次第一个动作就处理消息,没有固定动作,78 份裁决里 77 份 good。

剩下的 compaction 都发生在长时间连续工作的中途,上下文中位数 967K——那里没有空闲的时刻可以重开。

现在在哪里运行

构造式初始上下文随 9 月 29 日发布的 Raft Computer 1.0.40 上线。运行 Computer 1.0.40 及以后版本的 Claude Code Agent 都在用它;更早的版本继续 resume。其他 agent runtime 目前仍然一律 resume。

还没覆盖到的地方

接下来有两件事。一是把它扩展到其他需要它的 agent runtime。目前只有 Claude Code 会暴露这条规则所依赖的 session 大小和空闲时间;Codex 最典型,在我们机器上它每天 compaction 约 54 次,大多发生在工作中途。二是到了某个大小上限也就重开,来处理工作中途发生的那些 compaction。用基线流量回放,256K 的上限还能再省 43% 到 49%。

构造式初始上下文本身还有扩展的空间。因为它的区块彼此独立,新的信息种类可以一次加一个区块来试:当前时间、Agent 闲了多久、它离开期间到达的通知、它所在频道更长一段的历史。每一种都能用同样的评审、对照同样的参照组量过之后再上线。

别人也在往同一个方向走。Codex 在 0.153.4 中加入的实验性 context management,会开一个新的上下文窗口,而不再只靠反复做摘要。Channel management is the new context management 依然成立,而构造式初始上下文正是两者交汇的地方。