文本大模型
模型简介
文本大模型基于生成式人工智能技术,拥有广泛领域的专家知识,可以理解和生成自然语言文本,辅以逻辑推理、文学创作、情感共鸣等技能,辅助各行各业多种领域,提效生产创作活动。
当前阶跃星辰已推出step-1和step-2正式版两大系列文本大模型。
step-1
step-1系列千亿参数经典架构大模型,能够处理各种复杂的语言任务。无论是文本创作、跨语种交流,还是解答问题、逻辑推理等,它都能提高使用者工作效率。此外,该系列模型还具备出色的数学和代码能力,在科学计算、程序开发等领域也能发挥重要作用。
step-1-flash
step-1系列极速版大模型,能够处理通用领域的任务。在首字延迟和输出速度上表现优异,为高性价比模型。上下文长度为8k,模型名为step-1-flash。
step-2
新一代MoE架构大模型,参数规模突破万亿。模型性能/体感/planning能力全面逼近国际主流大模型,满足用户在中/英文领域各种需求,体现了Scaling Laws最前沿的成果。
模型上下文长度
模型的上下文长度是指在进行一次特定的推理时,模型在生成响应之前可以“回顾”和“理解”的输入内容的长度。这个参数决定了模型能够记住和参考多少先前的信息。较长的上下文长度允许模型在生成响应时利用更多的历史信息,从而提高生成文本的连贯性和准确性。需要注意的是,长度同时限制了模型输入和输出,即输入和输出的总长度不能超过模型上下文限制。这里的总长度并非文本的字符数量,而是经过词表数值化后的元素个数,即Token数量。
step-1结合价格和上下文长度可划分为超高性价比系列和超长文本系列。随着上下文长度的增长,价格依次升高,在不需要长文本输入的场景,可适当选择更小上下文长度的模型,从而降低使用成本。
step系列命名一般包含上下文长度和功能信息,例如step-1-8k,表示step-1系列,8k上下文长度,step-2-16k,表示step-2正式版,16k上下文长度,其中k的单位为1000,即输入和最长输出(max_tokens参数)不能超过8000个token;
千亿超高性价比系列
- step-1-8k
- step-1-32k
千亿超长上下文系列
- step-1-128k
- step-1-256k
万亿参数大模型
- step-2-16k
极速版大模型
- step-1-flash (注:模型上下文为8k)