AI 入门第 4 讲:大模型怎样学习?从猜错、改进到训练完成!
和 AI 小学徒「豆豆」一起走进大模型训练营!为什么它一开始总猜错,后来却越来越聪明?今天你将亲手调教一个迷你模型,用 5 个可视化互动实验揭开损失函数(Loss)、反向传播与学习率的秘密!
🐣 开场故事:豆豆的第一天上学
豆豆大声回答:“游泳!”
大家都笑了。老师温和地说:“更常见的答案是‘飞翔’。我们再试试!”
豆豆没有气馁,它开始练习成千上万道“猜下一个词”的题目……
大语言模型的训练也有非常相似的过程:根据前面的文字,预测接下来可能出现的 Token(文字小块),再根据预测结果与参考目标的差距,不断调整模型内部的许多数字(参数)。
第一章:实验 1 · 训练材料——豆豆吃什么“知识早餐”?
人类读书学知识,大模型训练时则会阅读海量文本数据,从词语搭配和上下文里寻找规律线索。
故事和文章
学习人类语言怎样自然组织,以及不同角色怎样对话交流。
科普与说明
接触丰富的科学概念、客观事实描述和条理清晰的解释方式。
代码与其他资料
学习严谨的逻辑结构,以及不同任务场景下的解题规律。
🎯 互动挑战:找出更适合练习的训练句子
假如训练目标是让模型学会“雨天人们出门可能带什么”,请点击下面更有帮助的一句训练语料:
第二章:实验 2 · 预测与反馈——先猜一猜,再看看答案
训练时,模型不仅比较“猜对还是猜错”,还会看它给参考答案分配了多大的概率。
训练题目:“晚上抬头,我们可能看见 ____ 。” 豆豆目前给三个候选词分配了不同的可能性。请先点击你认为合理的词:
🤖 豆豆当前的预测概率分布
👆 你来选择参考词
注:在这个示例里,训练语料的参考词是“星星”。现实语言中往往不只有一个合理的下文(比如“月亮”也很合理)。
第三章:实验 3 · 动手训练——把“星星”的机会调高一点
模型越相信参考答案,计算出来的损失值(Loss)就越小。
现在你来当 AI 训练师!左右拖动下方滑块,调整迷你模型分配给参考答案“星星”的概率,观察损失值(Loss)如何变化:
示意公式采用 $-\ln(\text{参考词概率})$,是交叉熵损失的简化展示。
第四章:实验 4 · 反复练习——看见学习曲线!
豆豆不是只做一道题就毕业,而是要在海量练习步数中逐步压低损失。
点击下方按钮让豆豆反复练习,观察左侧的当前损失与右侧的训练损失柱状曲线怎样一步步下降:
注:这个互动实验使用预设的指数衰减规律演示趋势,并非在浏览器内实时训练真实大模型。真实训练曲线往往带有抖动起伏,还需要在没见过的新题目(验证集)上检验效果。
第五章:知识站 · 揭开数学魔法——三位幕后小帮手
大模型能够从猜错走向改进,全靠这三位数学帮手组成的训练闭环。
1. 损失函数(Loss)
像一把精准的尺子:衡量模型这次的预测分布离训练参考目标有多远。
2. 反向传播
像顺藤摸瓜查线索:从误差出发,高效算出每个参数的微小改变会怎样影响损失。
3. 梯度下降与优化器
像朝着山谷底迈步:按照计算出的梯度方向更新参数,让下一轮损失变得更小。
第六章:实验 5 · 学习步子有多大?——认识学习率(Learning Rate)
豆豆想下山走到山谷最低处(误差最小的位置)。步子太小走得慢,步子太大又容易冲过头!
先选择一种学习率(步子大小),再点击“走一步”,看看橙色滑块能否顺利停在绿色山谷最低点(位置 0.00):
注:这是一个一维抛物线山谷的数学玩具。真实神经网络的参数空间有成百上千亿个维度,比这座小山谷复杂得多!
第七章:把故事连起来——训练完成后,发生了什么?
分清“模型训练阶段”与我们日常打字聊天的“模型推理阶段”。
1. 预训练(Pre-training)
模型在海量文本数据上练习“预测下一个 Token”,学习通用语言规律并形成基础参数。
2. 进一步微调与对齐
经过指令微调(SFT)和人类偏好对齐等步骤,学会更好地听懂要求、礼貌安全地回答。
3. 推理(日常使用模型)
当你输入问题时,模型直接用已经训练好的参数进行前向计算,一步步生成回答。
第八章:知识地图——今天带走的 5 颗闪亮星星
快速回顾大模型从零开始学习的 5 个关键要点。
模型从海量训练文本数据中学习词语搭配与上下文统计规律。
每次预测之后,用损失函数(Loss)衡量预测结果与目标的差距。
反向传播帮训练程序高效计算每个参数该如何调整才能降低损失。
学习率决定每次更新参数迈出的步子大小,太慢或太大都不行。
训练是修改参数的过程,日常聊天推理则是使用训好的参数做计算。
第九章:毕业闯关——你能成为合格的 AI 训练师吗?
完成下面 6 道单选题,检验你是否掌握了大模型训练的核心秘密!
第十章:开放式挑战——小小科学家的思考题
思考训练数据质量与模型表现之间的深层关系。
🤔 假如豆豆在训练营里只读过“所有小狗都会在天上飞”这类错误的句子,会发生什么? 请试着思考并回答下面 3 个问题:
豆豆在预测“小狗在天空中____”时可能会输出什么?
为什么“练习几万次”也不一定能让它得出正确事实?
如果你是总工程师,你会怎样改善豆豆的训练材料?
① 豆豆很可能会学到错误的词语关联,高概率预测“小狗在天空中飞翔”;② 因为损失函数只衡量“预测是否符合训练材料”,把错误的材料重复练习一万次,并不会让错误自动变成客观事实;③ 改进方案:剔除虚假低质语料、补充权威多样的真实动物科普资料,并在训练完成后用独立的测试题做严格评估!
🏆 AI 入门第 4 讲 · 核心知识打卡台
🌱 见习训练学徒已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)