在大语言模型的fine-tuning过程中,为什么预训练模型的权重被认为是一个可以直接使用的,好的初始化?
A. 它们是随机生成的
B. 它们已经在大数据集上进行了预训练,捕获了许多通用特征
C. 它们可以降低训练的复杂性,使fine-tuning得到的模型泛用性更好
D. 它们可以加速模型的收敛速度,并且避免收敛到局部极小值 参考答案: B 解析:预训练模型的权重已经在大量数据上进行了训练,因此它们通常能够捕获许多通用的、跨任务的特征,这为新任务提供了一个良好的初始化。
CDA人工智能社区
工作时间:9:00-19:00
陈老师:13077998983
邮箱: edu_cda_cn@foxmail.com