六八读书

第827章 没经过标注学习的大模型，直接拿训练结果，会不完整（第2页）

结论：信息分布不均 → 导致学习偏斜 → 导致“结构性不完整”。

?

2. 任务映射角度：无标注训练难以学得任务映射规则

? 自监督语言模型训练的本质是“概率语言建模”，不是“任务解答”；

? 所以它并不知道“题目是什么、目的是什么”，而是推测“在这种上下文中，最可能出现的词或句子是什么”；

? 比如：它可以写诗、写代码，但并不能天然知道“这个代码是否安全”“这首诗是否表达了想表达的情绪”。

结论：任务导向的“目标函数”缺失 → 无法学会“为什么做”。

?

3. 可解释性角度：非标注训练缺乏因果结构建模

? 人类通过监督学习明确学习“因果—目的—手段”结构；

? 但大语言模型更像是“相关性结构模拟器”；

? 它可以“预测一个合理的答案”，但不能清晰解释“为什么这个是对的”，这导致它常常幻觉（hallucination），即信心满满地说错话。

结论：缺乏标注训练导致“因果推理能力弱化”，解释力不足。

?

三、类比视角：大模型 vs 人类学习

我们可以做几个有趣的类比来更好理解：

模型机制

类比人类