跳转到主要内容
在使用大模型时,除了利用大模型进行对话之外,开发者还可能希望大模型获取实时信息以提高输出的质量和时效性。阶跃星辰大模型支持通用互联网搜索工具,通过联网搜索获取最新数据,增强信息准确性并扩展知识范围。这样模型可以为用户提供多样性和深度的回答,帮助开发者更好地处理业务需求。

启用互联网搜索

如需启用互联网搜索,可以通过在调用 API 时,传入 tools 定义来使用,具体定义如下:
互联网搜索工具的 type 固定为 web_search,并支持通过 function.description 来描述需要使用搜索的场景,用于指引大模型判断是否需要调用互联网搜索搜索相关信息。在完成搜索后,会以上下文的方式,插入到对话中,并交给大模型进行推理。互联网搜索工具按实际调用的次数计费,具体计费可见定价说明

实现步骤 & 参考代码

实现联网搜索,需要先构建 web_search 工具,这是阶跃星辰大模型为开发者定义好的网络搜索工具。如开发者有搜索渠道也,可以自行通过 tool call 实现调用自定义搜索引擎。
返回结果
  • 返回结果中的 tool_calls.function.results 当中包含的是搜索引擎返回的信息,你可以基于此渲染 UI。

常见用法

输出使用到的链接

在展示生成结果时,如果希望展示所使用的 Web 链接,则可以要求大模型在返回时,返回所使用的链接,并通过返回的 tool_calls 的 results 来获取到对应链接的基础信息,并渲染给用户。

注意事项

  • 在使用流式输出时,将会在返回的第一个 chunk 中带上搜索引擎的结果。你可以使用第一个 chunk 来渲染 UI。
  • 在使用大模型推理时,你需要写清楚 System Prompt 和 Tool 的 description,以便大模型能够正确理解你的需求,调用互联网搜索。
  • 目前在实际调用互联网搜索时,会先进行意图判断,评估是否需要调用互联网搜索,并不会对每一次调用都使用互联网搜索。