优化 AI 代理成本：令牌使用和缓存

人工智能代理的运营成本可以迅速从可控范围扩大到令人震惊的程度。代理每天处理 10 笔交易的成本并不高。同一个代理每天处理 5,000 笔交易，每笔交易需要 3-4 个具有大型上下文窗口的 LLM 调用，每月可能会产生数千美元的 API 成本，而这些成本并不在原始 ROI 模型中。

对于生产规模的人工智能部署来说，成本优化不是可选的。这就是能够带来积极投资回报率的代理与侵蚀投资回报率的代理之间的区别。本指南涵盖了在典型 OpenClaw 部署中降低 40-70% 成本而不影响输出质量的实用策略。

要点

• 令牌优化（及时压缩、上下文修剪）可将 API 成本降低 25-40%，且不会造成质量损失
• 语义缓存消除了对重复或类似请求的 LLM 调用，在许多工作负载中将成本降低了 30-60%
• 模型路由将廉价模型用于简单任务，仅在需要时使用昂贵模型
• 提示缓存（如果提供商提供）可减少重复系统提示的输入令牌成本
• 批处理可减少大容量、非时间敏感型工作负载的每次调用开销
• 通过每个工作流程归因进行成本监控，识别最昂贵的座席行为
• 流式传输可减少面向用户的代理的首次令牌延迟，而不会增加总成本
• 与未优化的部署相比，全面的成本优化策略通常可将 LLM 总支出减少 45-65%

---

了解 AI 代理成本驱动因素

在优化成本之前，先了解驱动成本的因素。 LLM API 成本主要基于代币消耗：

输入令牌： 发送到模型的每个令牌都需要花钱 - 系统提示、用户消息、检索到的上下文（RAG 块）、对话历史记录和任何示例（少量）。对于当前前沿模型，输入代币成本通常比输出代币成本低 2-5 倍。

输出令牌： 模型在其响应中生成的令牌。详细的输出成本更高。推理步骤（思维链）比直接答案花费更多。如果 JSON 具有许多字段，则结构化 JSON 输出的成本比散文更高。

通话量： 每个法学硕士通话都有最低费用。每个任务进行 5 个 LLM 调用的多步骤代理的成本比单次调用代理高 5 倍，但可能会产生更好的结果。关键是消除不必要的呼叫。

型号选择： 型号之间的成本差异巨大。 Claude 3 Haiku 的每个代币成本比 Claude 3 Opus 低约 50 倍。 GPT-4o 的成本比 GPT-4o mini 高出约 15 倍。对每项任务使用前沿模型是不必要成本的最常见来源。

现实的成本场景：

代理每天处理 1,000 张客户服务单。 每张门票需要：

• 系统提示：800代币
• 检索到的上下文：1,200 个令牌
• 门票内容：400代币
• 总输入：2,400 个代币
• 响应：600 代币

使用 Claude 3.5 Sonnet（$3/M 输入，$15/M 输出）：

• 每日费用：1,000 × [(2,400 × $3/M) + (600 × $15/M)] = $16.20/天 = $486/月

通过优化（如本指南所示），费用降至 150-200 美元/月 — 减少了 60%。

---

及时压缩和减少令牌

系统提示优化

每个请求都会发送系统提示。一个臃肿的 2,000 个令牌的系统提示可以压缩到 800 个令牌而不会丢失信息，但输入令牌的费用比所需的多 2.5 倍。

技术：

删除冗余： 查看系统提示，了解在多个位置重述的信息。巩固。

**使用压缩语言：**避免对话式序言。比较：

详细（47 个代币）：“你是一位有用的助手，擅长审查合同。你的工作是仔细阅读合同并找出可能对我们公司构成风险的任何条款。”

压缩（23 个令牌）：“您是合同风险分析师。确定代表客户公司风险的条款。”

压缩版本传达相同的指令。法学硕士关注的是语义内容，而不是字数。

使用结构化格式： 编号列表和项目符号比段落更密集地传达信息。

**使用few-shot时从系统提示中删除示例：**如果您在系统提示和用户消息中都有示例，则您需要为它们支付两次费用。合并到一处。

定期审核系统提示长度： 随着团队随着时间的推移添加指令而不删除过时的指令，系统提示往往会增长。每季度审查通常会发现 20-30% 的系统提示内容可以删除或压缩。

上下文窗口管理

RAG（检索增强生成）检索是知识密集型代理最大的成本驱动因素之一。每个检索到的块都是输入标记。未优化的 RAG 经常检索超出需要的上下文。

块大小优化： 对于事实问题回答，大量检索的较小块（256-512 个令牌）通常优于大块（1,000 个以上令牌）。较小的块也更便宜，因为不会检索大块内的不相关段落。

检索计数调整： 如果您的代理每次查询检索 10 个块，但始终仅使用前 2-3 个块中的信息，请减少检索计数。监视代理输出中实际引用了哪些检索到的块。

**相关性过滤：**应用相关性分数阈值 - 仅包含上下文中高于阈值的检索到的块。相关性较低的块会增加成本，但不会提高质量。

对话历史修剪： 对于多回合代理，对话历史记录随着每次回合而增长。较旧的转弯通常不太相关。实施总结策略：在 8-10 个回合后，将早期对话总结为压缩摘要（200-300 个标记），而不是保留完整的回合历史记录。

def manage_conversation_history(messages: list, max_tokens: int = 2000) -> list:
    """Prune conversation history to stay within token budget"""
    # Always keep system message and last N user/assistant turns
    if count_tokens(messages) <= max_tokens:
        return messages

    # Summarize early conversation if too long
    early_messages = messages[1:-6]  # Exclude system + recent 3 turns
    summary = summarize_conversation(early_messages)

    return [
        messages[0],  # System message
        {"role": "user", "content": f"[Earlier conversation summary: {summary}]"},
        *messages[-6:]  # Recent 3 turns
    ]

---

语义缓存

对于处理重复查询的代理来说，语义缓存是影响最大的成本优化。它存储 LLM 调用的结果，并为语义相似的后续请求返回缓存结果 - 即使不相同。

语义缓存如何工作

1. 当进行 LLM 调用时，计算输入的嵌入向量（提示 + 上下文）
2. 在缓存中搜索与当前输入向量相似度较高的存储结果 3.如果相似度超过阈值，则返回缓存的结果（无LLM调用）
3. 如果没有，则进行 LLM 调用并存储结果及其嵌入

关键见解：许多现实世界的请求即使在文本上不相同，在语义上也是相似的。 “过去 30 天内下的订单的退货政策是什么？”以及“我可以退回三周前订购的东西吗？”虽然是不同的词，但却是同一个问题——语义缓存可以从第一个缓存中为第二个提供服务。

按代理类型划分的缓存命中率

对于缓存命中率为 65% 的客户支持代理来说，语义缓存可将 LLM 调用量减少 65%，从而将 LLM 成本减少 65%。

缓存配置

相似度阈值： 声明两个请求“足够相似”以便缓存重用的阈值。更高的阈值=更少的缓存命中但更高的准确性。较低的阈值 = 更多的缓存命中，但存在针对不同请求返回微妙错误答案的风险。

对于事实查询，0.92-0.95 的相似度阈值通常是安全的。对于分析或推理任务，请使用较高的阈值 (0.97+) 以避免针对细微不同的问题返回错误的分析。

**缓存TTL：**不同的缓存条目类型应该有不同的过期时间：

• 产品定价：1-4小时（价格变动）
• 政策信息：24-48小时（政策很少变化）
• 一般知识：7天（非常稳定的信息）
• 生成的报告：缓存直到基础数据发生变化（事件触发的失效）

缓存范围： 配置缓存是按用户、按组织还是全局。客户支持代理应该拥有组织范围的缓存（适合您的组织的答案可能不适合另一个组织）。一般知识代理可以共享全局缓存。

---

模型路由和分层法学硕士选择

并非所有任务都需要前沿模型。使用 GPT-4o 或 Claude 3.5 Sonnet 来执行 GPT-4o mini 正确处理的简单分类任务所付出的代价比必要的多 15-50 倍。

路由策略

任务复杂性分类： 实现一个轻量级分类器，按复杂性对每个传入请求进行分类：

• 简单： 查找、类别少的分类、模板清晰的短生成
• 中等： 多步推理、复杂文档提取、条件逻辑
• 复杂： 开放式分析、创造性综合、细致入微的判断

模型分配：

• 简单 → GPT-4o mini，Claude 3 Haiku（成本：~$0.15-0.30/M 代币）
• 中等 → Claude 3.5 Sonnet，GPT-4o（成本：~$3-5/M 代币）
• 复杂 → Claude 3.5 Sonnet，GPT-4o（或用于深度推理任务的 o1）（成本：5-15 美元/M 代币）

**回退路由：**如果较便宜的模型生成的输出低于质量阈值（通过自动评估检测到），请使用较昂贵的模型重试。这种“级联”方法乐观地使用廉价模型，并且仅在需要时升级。

def route_to_model(task: AgentTask) -> str:
    complexity = classify_task_complexity(task)

    model_map = {
        "simple": "claude-haiku-3",
        "moderate": "claude-3-5-sonnet",
        "complex": "claude-3-5-sonnet"
    }
    return model_map[complexity]

def execute_with_fallback(task: AgentTask):
    primary_model = route_to_model(task)
    result = execute_with_model(task, primary_model)

    if not meets_quality_threshold(result):
        # Escalate to more capable model
        result = execute_with_model(task, "claude-3-5-sonnet")

    return result

通过模型路由实现实际节省： 在混合工作负载代理队列中，60-70% 的任务通常符合“简单”条件。将这些路由到廉价型号可实现该细分市场 50-70% 的成本降低，即总体成本降低 30-50%。

---

提示缓存（提供者级别）

Anthropic 和 OpenAI 提供提示缓存功能，可降低重复系统提示的成本。当多个请求中的系统提示符（或提示符的任何前缀）相同时，缓存令牌的成本明显低于新鲜令牌。

人为缓存定价： 缓存输入令牌的成本约为标准输入令牌价格的 10%（Sonnet 为 0.30 美元/M，而 Sonnet 为 3 美元/M）。缓存写入成本为 $3.75/M（写入一次，然后以 $0.30/M 读取）。

有效策略： 结构提示，使稳定部分（系统提示、示例、说明）排在最前面，可变部分（用户输入、检索到的上下文）排在最后。提供商会自动缓存稳定前缀。

盈亏平衡计算： 缓存写入成本为标准输入代币价格的1.25倍；缓存读取成本为 0.1 倍。收支平衡是指 2 个共享前缀的请求。对于缓存部分来说，第二个之后的每个请求都会便宜 90%。

对于具有 1,000 个令牌的系统提示符每天运行 1,000 个请求的代理：

• 不使用缓存：1,000 × 1,000 个代币 × $3/M = $3/天仅系统提示的输入成本
• 使用缓存：$3.75（一次写入）+ 999 × 1,000 × $0.30/M = $0.30/天
• 每日节省：2.70 美元（此组件减少 90%）

---

批处理

对于时间不敏感的工作负载（隔夜报告生成、批量文档处理、计划数据分析），批量 API 调用可显着降低成本。

OpenAI Batch API： 对于在 24 小时完成窗口内批量提交的请求，成本可降低 50%。对于隔夜报告生成，仅此一项就可以将 LLM API 成本减半。

人为消息批次： 非时间敏感工作负载的类似批次定价。

批量调度模式：

• 全天收集报告生成请求，在营业结束时批量提交
• 在非高峰时段将 RAG 的文档摄取处理为批处理作业
• 每晚批量运行合规性监控扫描

---

成本监控和归因

优化需要了解成本从何而来。从生产第一天开始实施成本监控：

每个工作流程成本跟踪： 用其所属的工作流程标记每个 LLM 调用。计算每天每个工作流程的总成本。这揭示了哪些代理行为成本最高，并优先考虑优化工作。

每个令牌归因： 按输入与输出令牌、提示组件（系统提示、上下文与用户输入）以及模型来细分成本。这种粒度的成本归因可以实现有针对性的优化。

成本异常检测： 当每日成本比 7 天滚动平均值高出 20% 以上时发出警报。峰值表示合法的数量增加（预期）或错误（无限循环、失控的上下文窗口、提示注入导致异常长的完成）。

每项成功任务的成本： 将总成本除以成功完成的任务即可得到每单位价值的成本。这是对投资回报率至关重要的指标——如果每项任务的成本下降，而任务数量和质量保持不变，则优化正在发挥作用。

---

常见问题

成本优化可以实际降低 LLM API 成本多少？

在典型的 OpenClaw 部署中，与未优化的部署相比，针对即时压缩、语义缓存和模型路由的系统优化工作可实现 45-65% 的成本降低。具体节省在很大程度上取决于工作负载特征——具有高度重复查询的代理从缓存中获益最多；具有多样化、独特查询的代理可以从模型路由中受益更多。

语义缓存是否会影响响应准确性？

通过正确的阈值配置，准确性影响可以忽略不计——通常实际任务的下降小于 0.5%。关键是为任务类型适当设置相似度阈值。对于问题中的细微差异导致不同正确答案的任务，请使用更高的相似性阈值 (0.96+) 以确保仅从缓存提供真正等效的查询。

语义缓存的延迟影响是什么？

缓存查找（向量相似性搜索）会增加 5-15 毫秒的延迟。缓存命中消除了 LLM 调用延迟（通常为 500 毫秒至 3 秒）。最终结果：缓存响应比非缓存响应快 20-200 倍。这是延迟的改善，而不是降低。

我们如何在不进行大量工程工作的情况下实施成本监控？

OpenClaw 的可观察层自动捕获每次执行的令牌计数和模型选择。 ECOSIRE 在实施过程中配置一个成本仪表板，按工作流程、模型和时间段显示成本。不需要定制工程——监控基础设施是标准实施的一部分。

成本优化措施在多大程度上变得有价值？

大多数优化措施在 LLM API 成本超过 500 美元/月时变得值得。低于该阈值，工程工作量通常会超过节省的成本。每月超过 2,000 美元，强烈建议进行系统优化——在这种规模下，投入优化的工程时间的投资回报率非常高。

改用更便宜的模型是否会影响代理输出的质量？

对于那些更便宜的模型真正提供同等质量的任务，改用它们纯粹是节省成本。对于需要深度推理、细致判断或复杂综合的任务，更便宜的模型会产生明显更差的输出。模型路由模式解决了这个问题，方法是仅在合适的情况下使用较便宜的模型，并针对需要它们的任务路由到高级模型。关键是经验验证——在将生产流量路由到特定任务之前测试更便宜的模型。

---

后续步骤

人工智能代理的成本优化是一门持续的学科，而不是一次性的项目。 ECOSIRE 的 OpenClaw 实施从一开始就包括成本优化层 - 语义缓存、模型路由和提示优化都内置到部署架构中，而不是事后添加。

探索 ECOSIRE OpenClaw 服务 以讨论您的成本优化要求，或查看我们的维护和优化保留选项以了解 ECOSIRE 如何管理生产 OpenClaw 部署的持续成本效率。