AI 入门第 3 讲:Transformer——大模型的神奇阅读小队
为什么现代大模型都叫 GPT(Generative Pre-trained Transformer)?一句话里的每个词语是怎样互相传纸条、交换上下文线索的?今天我们走进大模型的“阅读教室”,用 6 个好玩的互动实验揭开 Transformer 架构的秘密!
🎒 故事开始:一句话里的小侦探
先读一读这句话:“小明把球递给小红,因为她准备投篮。” 这里的“她”指谁?你立刻会想到小红。可是,“她”这个字本身并没有写着“小红”两个字——你是看了整句话的前后文,才顺藤摸瓜找到线索的。
第一章:实验 1——词语侦探,找出“它”到底是谁
同一个代词“它”,当周围的动词与形容词变化时,指向的目标就会完全改变。
点击下方不同场景按钮,观察黄色高亮的“它”会向哪个紫色线索词求助:
第二章:Transformer 阅读小队里有哪四位核心成员?
把零散文字变成深度理解,靠的是四个模块环环相扣的配合。
1. 词语卡片员(Token & Embedding)
先把句子拆成 Token(词元积木),再把每个词元映射成计算机能算的多维向量。
2. 位置提示员(Positional Encoding)
给每个 Token 盖上“位置印章”,告诉小队谁在前面、谁在后面——毕竟“狗追猫”和“猫追狗”意思相反!
3. 注意力侦探(Self-Attention)
让每个位置参考全句其他位置的信息,按相关性强弱把关键上下文线索汇总过来。
4. 思考加工站(Feed-Forward Network)
用前馈神经网络对汇聚好线索的每个位置做进一步特征加工,形成更丰富的语义表示。
注:真实的 Transformer 架构还包含残差连接(Residual Connection,防止信息在传递中丢失)与层归一化(LayerNorm,让数值计算更稳定)等关键设计。
第三章:实验 2——词语之间传“线索纸条”(自注意力与 Q/K/V)
当模型聚焦于某个词时,它会向全句发问,并按相关度收集其他词的信息。
想象句子是:“小狗 追着 小球 跑”。现在让“小狗”这个位置收集全句信息。点击下方不同词语按钮,看看它能从各个词那里收到什么线索:
在真正的自注意力(Self-Attention)计算中,每个词位置都会生成三份向量:
• Query(查询 Q):“我想寻找什么样的线索?”
• Key(键 K):“我这里有什么类型的线索标签?”
• Value(值 V):“我实际能提供的语义内容是什么?”
模型先拿当前词的 Q 去和所有词的 K 比对算出匹配权重,再用这组权重把各个词的 V 加权汇总起来!
第四章:实验 3——顺序一换,故事全变(位置编码的重要性)
如果只把词装进袋子里不管先后顺序,模型就分不清谁追谁了!
点击按钮切换下面两句话——用到的三个汉字一模一样,但故事完全相反:
由于注意力机制本身可以同时看全句所有词,如果不加位置标记,它就会把两句话当成同一袋词。因此 Transformer 必须加入位置编码(Positional Encoding),让模型清楚知道每个词排在第几位。
第五章:实验 4——一层一层接力,理解越来越立体
现代大模型会把几十层甚至上百层 Transformer 模块叠在一起,逐层深化表示。
拖动下方滑块,体验“阅读小队”从第 1 站接力工作到第 4 站的过程:
第六章:实验 5——一个侦探不够?请来一整支“多头注意力”小队!
一句话里往往同时藏着指代关系、空间位置、性质修饰等多种不同线索。
读读这句话:“小鸟站在树枝上,因为它很结实。” 点击下方不同的“注意力侦探头”,看看它们各自关注什么维度的关系:
在 Transformer 中,这叫作多头注意力(Multi-Head Attention):模型同时派出多组独立的 Query/Key/Value 计算通道,从不同角度捕捉词与词之间的关联,最后再把大家的发现拼合起来。
第七章:实验 6——阅读小队怎样帮忙写出下一个词?
经过多层 Transformer 汇聚全句线索后,模型就能计算下一个候选 Token 的概率分布。
📝 句子上下文:“窗外下大雨了,出门记得带上 ____ ”
👆 点击上方候选词,看看阅读小队的评估结果!
注:真实大模型每次预测时面对的是词表里数万个候选 Token 的概率分布。它会根据上下文算出概率,但这属于数学统计与特征推理,并不代表模型亲身淋过雨。
第八章:今天学到的 Transformer 知识全景地图
一张图串起从文字输入到预测输出的 5 大核心环节。
第九章:小小 Transformer 工程师 · 5 题闯关挑战
完成下面 5 道单选题,检验你对 Transformer 阅读小队的理解!
第十章:毕业任务——自己当一次阅读侦探
分析句子里的指代与位置线索,写出你的破案报告!
读一读这句话:“小兔子躲在大树后面,因为那里很安全。” 请试着回答下面 3 个小问题:
句中的“那里”最可能指什么地方?
你是从句中哪些词语找到线索的?
如果把“大树后面”换成“猎人脚边”,句子还合理吗?
① “那里”指向“大树后面”;② 句中的动词“躲在”、位置词“大树后面”以及形容词“安全”共同提供了上下文线索,注意力机制会把这些线索聚合到“那里”的表示中;③ 如果把“大树后面”换成“猎人脚边”,结合常识语境就会和“很安全”产生矛盾,说明上下文词汇的变化会直接改变全句的合理性与含义!
🏆 AI 入门第 3 讲 · 核心知识打卡台
🌱 阅读小队新星已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)