实时语音互动模型

模型简介

阶跃星辰提供两种语音对话方案，适用于不同的场景需求：

以下模型你可以通过 Chat API 和 Realtime API 来使用它们。

step-audio-2

在语言方面能够理解中文普通话、中文方言、英语、日语，并使用中文和英语进行对话交互。在能力方面能够理解环境声音事件、人类副语言和语音中的情绪、根据声音推测用户年龄、理解音乐，能够控制不同的语速、语调和情感进行表达，并具备原生的 Tool Call 和网络搜索能力。

step-audio-2-mini

与 step-audio-2 模型相似，在语言方面能够理解中文普通话、中文方言、英语、日语，并使用中文和英语进行对话交互。在能力方面能够理解环境声音事件、人类副语言和语音中的情绪、根据声音推测用户年龄、理解音乐，能够控制不同的语速、语调和情感进行表达，并具备原生的 Tool Call 和网络搜索能力。效果得分在指令遵循、数理和推理任务上略低于 step-audio-2。整体模型推理速度更快，需要的资源更少。

step-1o-audio

第一代端到端语音，支持语音生成，支持多样音色。

什么是 Realtime API

阶跃星辰 Realtime API 是基于千亿参数端到端语音大模型 Step-1o-Audio 构建的实时交互式语音接口。该 API 提供超低延迟的语音对话体验，支持人机之间的自然流畅沟通，并具备实时打断能力，实现真正意义上的双向交互式对话。

核心特点

• 实时低延迟：提供百毫秒级响应，确保对话流畅自然，无明显等待时间
• 双向打断机制：支持用户随时打断 AI 对话，AI 也能智能识别并适时回应，模拟真实人际交流模式
• 多模态输入输出：灵活支持语音、文本等混合形式的输入和输出处理
• 声音特征深度理解：精准把握音色、韵律、方言和个性化口语表达习惯，呈现真人级语音体验
• 情感智能：能够识别语气语调中的情绪信息，结合语境理解用户情感需求，提供情境化回应
• 知识储备丰富：继承阶跃星辰语言大模型的知识体系，提供专业可靠的信息和建议
• 创意内容生成：具备强大的创作能力，可即兴创造并讲述生动有趣的故事内容

应用案例展示

• 情感陪伴场景：在用户分享人生重要时刻时，如相亲成功经历，模型能够表达恰当的祝贺，提出深入问题，并展现真实的情感共鸣。

• 安全驾驶辅助：识别驾驶者疲劳状态下的语音特征，给予针对性的安全建议，同时通过情感支持缓解疲劳感。

• 方言交互能力：精准模拟地方方言特性，如四川话的音调起伏和特色词汇运用，提供本地化的语音交互体验。

• 如何与男朋友撒娇：以自然可爱且略带俏皮的语气，示范与亲密关系间的撒娇互动，增强关系亲密度。

• 亲子关系支持：针对家长首次送孩子入学等敏感场景，理解并安抚焦虑情绪，同时提供实用的适应性建议。

业务场景应用

Realtime API 凭借实时交互与情感理解能力，已在多个行业领域实现成功落地：

• 智能座舱：为车载系统提供自然语音交互界面，支持驾驶过程中的信息查询、闲聊对话和安全提醒
• 智能终端：为各类IOT智能硬件设备提供实时语音交互能力，提升用户与设备间的交互体验
• 社交娱乐：帮助社交平台和娱乐应用构建情感陪伴Agent
• 智能客服：实现高度拟人化的客户服务体验，提升服务效率和客户满意度
• 金融调解：在金融纠纷处理过程中提供中立、专业的沟通辅助

通过集成 Realtime API，开发者可以快速构建具备人类般自然交流能力的应用，为用户带来真正沉浸式的语音交互体验。

模型快速入门