对“预训练”的理解

传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。

在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大数据支持的模型的参数，作为基准，这样就能提高效率和准确率。因为他们神经网络的浅层是相似的，也就是说，在任务相似的情况下，可以用已有的模型即“预训练”好的模型参数实现小数据量的模型训练。

预训练可以节省训练时间，和成本。

通过一个已训练好的模型A，去完成一个小数据量的任务B，前提，任务A和任务B极其相似。

分两步

冻结：浅层参数不变

微调：浅层参数会跟着训练而改变

fairseq、transformers库