自动切换模型说明
自动切换模型支持切换同一个模型簇中不同上下文的模型,不同模型簇之间不支持自动切换。| 自动切换模型名 | 切换条件 | 可切换模型 |
|---|---|---|
| step-1-auto | input_token + max_tokens < 8192 | step-1-8k |
| step-1-auto | 8192 < input_token+max_tokens < 32000 | step-1-32k |
| step-1-auto | 32000 < input_token+max_tokens | step-1-256k |
| step-1v-auto | input_token + max_tokens < 8192 | step-1v-8k |
| step-1v-auto | 8192 < input_token+max_tokens | step-1v-32k |
实现原理
自动切换模型并未提供一个全新的模型,而是一个 Virtual Model,底层实际上是通过调用 Count API,计算当前输入的 Prompt ,并进行进一步分流,调用真实的模型。copy
根据业务逻辑实现自定义的模型切换
在真实业务场景中,除了基于模型上下文进行切换,我们还推荐你根据模型的输入信息选择合适的模型。比如在对话过程中,根据用户的输入信息当中是否包含图片,选择使用 step-1v 模型簇或 step-1 模型簇。copy
注意事项
- 模型 Token 数量计算时会存在一定的误差概率,出现误差时,可能会出现选择更长上下文的模型。
- 官方的 Tool (如 Web Search、知识库 Retrieval)等因为会带来额外的上下文,所以在计算 Token 数量时,会自动扩大 Token,选择更大上下文的模型。