CDA考试专区 加入小组

844个成员 593个话题 创建时间:2017-12-06

在大语言模型的fine-tuning过程中,为什么预训练模型的权重被认为是一个可以直接使用的,好的初始化?

发表于03-28 1535次查看

在大语言模型的fine-tuning过程中,为什么预训练模型的权重被认为是一个可以直接使用的,好的初始化?

A.    它们是随机生成的

B.    它们已经在大数据集上进行了预训练,捕获了许多通用特征

C.    它们可以降低训练的复杂性,使fine-tuning得到的模型泛用性更好

D.    它们可以加速模型的收敛速度,并且避免收敛到局部极小值
参考答案: B
解析:预训练模型的权重已经在大量数据上进行了训练,因此它们通常能够捕获许多通用的、跨任务的特征,这为新任务提供了一个良好的初始化。

发表回复
你还没有登录,请先 登录或 注册!
话题作者
一站式数据科学在线教育平台