使用 JSON Mode，串连大模型与应用代码

除了应用在用户的日常对话外，阶跃星辰大模型还可以用于和应用自身的逻辑代码进行一些操作，来实现自然语言到应用逻辑的转化。比如，你可以使用大模型来实现用户评论内容的情绪判断、使用大模型来实现内容评分等功能。你可以通过 Prompt Engineering 的方式，来让大模型返回特定格式的内容并进行解析。阶跃星辰为开发者提供了 JSON Mode 的支持，帮助开发者获取到可以解析的 JSON 数据，更加容易与系统进行集成。

使用方法

在使用 JSON Mode 时，你需要做三件事：

在 System Prompt 中，放置你预期大模型给出的输出的 JSON 的结构和说明（推荐使用 JSON Schema 的结构描述，帮助大模型理解）。
请求时，设置response_format 为 { "type": "json_object" }，从而来让大模型返回可解析的 JSON 结果。
解析大模型返回的结果，并验证是否符合预期。符合预期后即可使用在业务系统中对接。

参考代码

以使用大模型进行评论的情感分析为例子，你可以通过参考如下代码，让大模型返回 JSON 结果。


from openai import OpenAI
 
# 初始化 阶跃星辰 Client
STEPFUN_KEY = ""
 
client = OpenAI(
    base_url="https://api.stepfun.com/v1",
    api_key=STEPFUN_KEY
)
 
 
# 在 System Prompt 中定义返回结果
system_prompt = """
你是一个评论分析师，会根据用户的输入，分析用户输入的情感，并给出评论的情感分析结果
## 分析规则
1. 如果用户的评论中包含了负面情感词汇，那么情感分析结果为 negative
2. 如果用户的评论中包含了正面情感词汇，那么情感分析结果为 positive
3. 如果用户的评论中没有包含正面或者负面情感词汇，那么情感分析结果为 neutral
## 正面情感词汇
- 好
- 棒
- 优秀
## 负面情感词汇
- 差
- 糟糕
- 糟
## 例子
### 例子 1
#### 输入内容
"这个产品真的很好，我很喜欢"
####  输出内容
{  
    "emotion": "positive",
    "score": 0.9.
    "reason": "用户评论中包含了正面情感词汇"
}
### 例子 2
#### 输入内容
"这个产品好垃圾，我很讨厌"
####  输出内容
{  
    "emotion": "negative",
    "score": 0.9,
    "reason": "用户评论中包含了负面情感词汇"
}
## 输入内容
用户的评论文本
## 输出内容
按照如下结构输出 JSON 结果
 
class Response:
    emotion: str # 用户评论的情感分析结果，可选项为 positive, negative, neutral
    score: float # 用户评论的情感分析得分，范围为 0 到 1 之间
    reason: str # 用户评论的情感分析结果的原因
 
"""
 
response = client.chat.completions.create(
  model="step-1-8k",
  messages=[
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "这个产品还行？"}
  ],
  response_format={ "type": "json_object" },
)
 
print(response)

引入 JSON Schema 帮助模型返回预期的 JSON 结构

在使用 JSON Mode 时，有些时候模型会返回一些不符合我们预期的内容，为了帮助模型更好的理解我们的预期，我们可以使用 JSON Schema 来帮助模型理解我们的预期。

JSON Schema 是用于验证 JSON 数据结构的强大工具，可以帮助我们定义 JSON 数据的结构，从而帮助模型更好的理解我们的预期。

你可以通过使用 JSON Schema 定义返回体结构需要哪些字段、每个字段的含义、取值范围等，比如如下一段 Schema 定义了一个用户输入解析的 Object 结构，这个结构当中包含两个属性 url 和 notes，并声明了 url 和 notes 都是模型必返回的选项。


{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "title": "用户输入解析",
  "type": "object",
  "properties": {
    "url": {
      "type": "string",
     "description":"用户输入的 URL"
    },
    "notes": {
      "type": "string",
 "description":"用户对于输入的 URL 的评价"
    }
  },
  "required": [
    "url",
    "notes"
  ]
}

在你的 Prompt 当中加入 JSON Schema，并开启 JSON Mode 返回，可以让大模型更加精准的以你想要的 JSON 结构返回内容：


你是一个专业的文本处理工程师，会根据用户的输入，从中提取 URL 和 用户的评价内容，并以 JSON 的方式返回。
 
## 约束
 
- 你会以下方的 JSON Schema 的格式返回给用户
 
 
{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "title": "用户输入解析",
  "type": "object",
  "properties": {
    "url": {
      "type": "string",
     "description":"用户输入的 URL"
    },
    "notes": {
      "type": "string",
 "description":"用户对于输入的 URL 的评价"
    }
  },
  "required": [
    "url",
    "notes"
  ]
}

注意事项

在使用 JSON Mode 时，你需要检查返回结果的 finish_reason 是否为 stop。如 finish_reason 为 length，则是大模型因为受到 max_token 的限制导致无法完整返回内容，所返回的 Message 可能无法被正常解析。
在使用 JSON Mode 时，可以通过在 Prompt 中加入输入和输出的范例，来帮助大模型理解你的场景和需求，给出更加符合预期的输出。