LLM有哪些可控超参数

LLM有哪些可控超参数

目录 LLM有哪些可控超参数 生成控制类 采样相关类 推理优化类 惩罚类 其他类 计算资源与批量处理类 上下文与Token相关类 内存相关类

生成控制类

以流式返回对话响应：指模型在生成回复时，是否以逐字或逐句的流式方式返回给用户，而不是等全部生成完再返回，能提升交互实时感，比如在聊天场景中，用户能更快看到回复内容。

种子（Seed）：用于初始化随机数生成器的值。如果设置相同的种子，模型在相同输入下会生成相同的输出，常用于可重复性实验等场景。比如研究人员希望每次测试模型在特定输入下的表现都一致时，就固定种子值。

停止序列（Stop Sequence）：指定一个序列，当模型生成的文本中出现该序列时，就停止生成。例如在生成故事时，设置“故事结束”为停止序列，当模型生成到“故事结束”时就不再继续。