【NLP25、模型训练方式】

目录

一、按学习范式分类

1. 监督学习（Supervised Learning）

2. 无监督学习（Unsupervised Learning）

3. 半监督学习（Semi-supervised Learning）

4. 强化学习（Reinforcement Learning, RL）

5. 迁移学习（Transfer Learning）

6. 自监督学习（Self-supervised Learning）

二、按训练技术分类

1. 数据增强（Data Augmentation）

2. 正则化（Regularization）

3. 优化算法（Optimization Algorithms）

4. 模型集成（Ensemble Learning）

5. 分布式训练（Distributed Training）

三、按任务特性分类

1. 在线学习（Online Learning）

2. 元学习（Meta-Learning）

3. 课程学习（Curriculum Learning）

四、典型应用场景

五、选择训练方法的关键因素

---

你的痛苦，我都心疼，想为你解决

                                                —— 25.2.15

一、按学习范式分类 1. 监督学习（Supervised Learning）

核心思想：使用带有标签（已知输入-输出对）的数据训练模型。

常见任务：分类（如垃圾邮件识别）、回归（如房价预测）。

典型方法：

梯度下降法：通过反向传播调整模型参数，最小化损失函数。

批量训练（Batch Training）：每次迭代使用全部数据计算梯度。

小批量梯度下降（Mini-batch Gradient Descent）：每次使用一小部分数据（平衡速度和稳定性）。

随机梯度下降（SGD）：每次使用单个样本（收敛快但噪声大）。

---

2. 无监督学习（Unsupervised Learning）

核心思想：从无标签数据中学习数据的内在结构。

常见任务：聚类（如客户分群）、降维（如PCA）、生成（如GAN生成图像）。

典型方法：

K-Means聚类：通过迭代优化簇中心和样本分配。

自编码器（Autoencoder）：学习数据的低维表示。

生成对抗网络（GAN）：生成器和判别器对抗训练。

---

3. 半监督学习（Semi-supervised Learning）

核心思想：结合少量标注数据和大量未标注数据训练。

适用场景：标注成本高（如医学图像分析）。

典型方法：

自训练（Self-training）：用已训练模型预测未标注数据，扩展训练集。

一致性正则化（Consistency Regularization）：鼓励模型对扰动后的未标注数据预测一致（如FixMatch）。

---

4. 强化学习（Reinforcement Learning, RL）

核心思想：通过试错与奖励机制训练智能体（Agent）。

常见任务：游戏AI（如AlphaGo）、机器人控制。

典型方法：

Q-Learning：学习状态-动作价值函数。

策略梯度（Policy Gradient）：直接优化策略函数。

深度确定性策略梯度（DDPG）：结合深度学习和Actor-Critic框架。

---

5. 迁移学习（Transfer Learning）

核心思想：将预训练模型的知识迁移到新任务。

典型应用：

微调（Fine-tuning）：在预训练模型（如BERT、ResNet）基础上调整参数。

特征提取：冻结预训练层，仅训练新分类层。

---

6. 自监督学习（Self-supervised Learning）

核心思想：通过设计辅助任务（Pretext Task）自动生成标签。

典型方法：

对比学习（Contrastive Learning）：如SimCLR，通过对比样本增强视图。

掩码语言建模（Masked Language Modeling）：如BERT预测被遮蔽的词语。

---

二、按训练技术分类 1. 数据增强（Data Augmentation）

目的：增加数据多样性，防止过拟合。

方法：

图像：旋转、裁剪、加噪声。

文本：同义词替换、回译（Back Translation）。

音频：变速、加背景噪声。

---

2. 正则化（Regularization）

目的：限制模型复杂度，提高泛化能力。

方法：

L1/L2正则化：在损失函数中添加参数惩罚项。

Dropout：随机丢弃神经元（如全连接层设置0.5丢弃率）。

早停法（Early Stopping）：验证集性能不再提升时终止训练。

---

3. 优化算法（Optimization Algorithms）

常用优化器：

Adam：结合动量（Momentum）和自适应学习率（如NLP任务常用）。

RMSProp：自适应调整学习率（适合非平稳目标）。

AdaGrad：稀疏数据优化（如推荐系统）。

---

4. 模型集成（Ensemble Learning）

目的：结合多个模型提升鲁棒性。

方法：

Bagging：并行训练多个模型并投票（如随机森林）。

Boosting：串行训练，纠正前序模型的错误（如XGBoost）。

Stacking：用元模型组合基模型的输出。

---

5. 分布式训练（Distributed Training）

目的：加速大规模数据/模型的训练。

方法：

数据并行：多GPU同步训练（如PyTorch的DataParallel）。

模型并行：将模型拆分到不同设备（如大型Transformer）。

---

三、按任务特性分类 1. 在线学习（Online Learning）

特点：模型逐步更新，适应数据流（如推荐系统实时反馈）。

2. 元学习（Meta-Learning）

特点：学习“如何学习”，快速适应新任务（如小样本学习）。

3. 课程学习（Curriculum Learning）

特点：从简单到复杂逐步训练（模仿人类学习过程）。

---

四、典型应用场景 方法适用场景监督学习数据标注充足（如图像分类、文本情感分析）半监督学习标注数据少，未标注数据多（如医学影像）强化学习动态决策场景（如游戏、机器人控制）迁移学习目标领域数据少，但有相关预训练模型（如NLP）自监督学习无标注数据丰富（如预训练语言模型）

---

五、选择训练方法的关键因素

数据量级：数据少时优先迁移学习或半监督学习。

标注成本：标注困难时考虑自监督或弱监督学习。

任务类型：分类/回归用监督学习，生成任务用GAN或VAE。

实时性要求：在线学习适合需要快速更新的场景。