Prompt 缓存最佳实践

​

缓存支持模型

​

Prompt 缓存的基础原理

1. 缓存查询：根据您的请求的 Prompt 的前缀，查询当前的 Prompt 是否有系统的缓存。
2. 缓存命中：如果命中系统的缓存，系统将会使用缓存，并加上本次请求中缓存不包含的内容，进行推理。
3. 缓存未命中：如果未命中系统的缓存，系统将会进行正常的推理并在处理完成后，将 Prompt 前缀进行缓存，以供下次请求使用。

​

如何判断自己是否使用了 Prompt 缓存

{
    "id": "22ebae159c8f10c8657253671c8f7f17.6de8d4f65f5ba3dddeb693a1aa83de1e",
    "object": "chat.completion",
    "created": 1730963954,
    "model": "step-5-preview",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "xxx"
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "cached_tokens": 512,
        "prompt_tokens": 591,
        "completion_tokens": 120,
        "total_tokens": 711
    }
}

​

什么样的内容会进入缓存

• 对话信息：完整的对话数组会进入到缓存系统当中，其中包含 System Prompt、User Message 以及 Assistant Message。
• 图片信息：用户消息中包含的图片信息也会进入缓存当中，但需要保证前后使用的是相同的图片。
• 视频信息：用户消息中包含的视频信息也会进入缓存当中，但需要保证前后使用的是相同的视频。
• 工具调用信息及其结果：对话信息中的工具调用信息及其调用结果也会参与到缓存当中。

​

Prompt 缓存最佳实践

• 在 Prompt 的开头使用静态或者重复的内容，而在整个 Prompt 结尾放置动态的内容；
• 监控不同 Prompt 的 Cached Token 和 Prompt Token 的比重、延迟、命中率，来优化 Prompt 结构；
• 近期未使用的缓存会被系统逐出，因此，尽可能保持 Prompt 前缀的稳定，以获得更高的缓存命中率。
• 对于较长的 Prompt，可以放在系统流量非高峰期进行，以减少缓存被逐出的次数，获得更高的缓存命中率。

​

如何对缓存进行排查

1. 确保缓存的部分在每次调用过程中都始终保持一致；
2. 检查是否两次请求间隔时间太长，以避免缓存失效；
3. 验证是否提供了至少 256个 Token 作为输入。

​

常见问题

​

缓存是否影响模型的推理的效果？

​

我是否需要为 Prompt 缓存额外付费？

​

我是否可以手动清除 Prompt 缓存？

​

我是否可以让我的请求始终命中缓存？