提示词修订策略：以廉价预填充换取昂贵解码，实现 2-10 倍效率提升

核心事件

Revision Prompting（修订提示词）技术通过向大模型发送旧输入、旧输出及输入差异，要求模型仅生成输出“补丁”，从而利用 LLM 预填充（Prefill）阶段的并行计算优势，对冲解码（Decoding）阶段的串行瓶颈。该方法在文档修订场景下可减少 2-10 倍的输出令牌（Tokens），并确保未改动部分的一致性。

• ▶ 核心逻辑：利用 LLM 架构中 Prefill 阶段的高吞吐量特性，将长文本生成任务转化为“上下文比对 + 局部更新”。
• ▶ 性能增益：在处理长文档更新时，通过牺牲相对廉价的输入流量，显著降低了昂贵且耗时的输出生成成本。

八卦洞察

从底层架构看，LLM 推理存在严重的不对称性：预填充（Input）是计算密集型且高度并行的，而解码（Output）是访存密集型且必须串行执行的。随着长上下文模型（如 Gemini 1.5, Claude 3）的普及，输入成本正在迅速下降，而输出延迟依然是用户体验的死穴。Revision Prompting 本质上是在进行一种“算力套利”——用极低成本的输入带宽去置换极高成本的输出时间。这标志着 AI 应用开发正从“全量生成”向“增量更新”范式转移，类似于传统软件工程中的热补丁技术。

行动建议

对于开发 RAG 系统或协作编辑工具的团队，建议立即引入“差异化 Prompt”机制。通过在 System Prompt 中定义标准的补丁格式（如 JSON Patch 或 Diff 格式），强制模型仅输出变动部分。这不仅能大幅缩减 API 账单，还能通过减少 Token 生成量来显著提升终端用户的感知速度（Perceived Latency）。