LLM架构

LLM 分类 :

自编码模型 (encoder) : 代表模型 : BERT自回归模型 (decoder) : 代表模型 : GPT序列到序列模型 (encoder-decoder) : 代表模型 : T5

自编码模型 (AutoEncoder model , AE)

代表模型 : BERT (Bidirectional Encoder Representation from Transformers)特点 : Encoder-Only基本原理 : 在输入中随机 MASK 掉一部分单词，根据上下文预测这个词应用场景 : 内容理解任务，如 : 自然语言理解 (NLU )中的分类任务 (情感分析、提取式问答等 )

自回归模型 (Autoregressive model , AR)

代表模型 : GPT特点 : Decoder-Only基本原理 : 从左往右学习的模型，只能利用上文或 下文的信息应用场景 : 生成式任务，如 : 自然语言生成 (NLG )领域的任务 (摘要、翻译、抽象问答等 )

序列到序列模型 (Sequence to Sequence Model)

代表模型 : T5特点 : 同时使用编码器和解码器基本原理 : 将每个 task 视作序列到序列的转换/ 生成应用场景 : 需要内容理解和生成的任务，如 : 机器翻译

发展图 :