🚀 CODING4KIDS · AI 零基础互动教程 · AI 入门系列

AI 入门第 3 讲:Transformer——大模型的神奇阅读小队

为什么现代大模型都叫 GPT(Generative Pre-trained Transformer)?一句话里的每个词语是怎样互相传纸条、交换上下文线索的?今天我们走进大模型的“阅读教室”,用 6 个好玩的互动实验揭开 Transformer 架构的秘密!

⏱️ 建议 20–30 分钟 🕵️ 词语侦探破案实验 📨 Q/K/V 传纸条揭秘 🎩 多头注意力分工 🏆 5 题工程师闯关

🎒 故事开始:一句话里的小侦探

先读一读这句话:“小明把球递给小红,因为她准备投篮。” 这里的“她”指谁?你立刻会想到小红。可是,“她”这个字本身并没有写着“小红”两个字——你是看了整句话的前后文,才顺藤摸瓜找到线索的。

💡 今天最重要的一句话:理解句子里的一个词,常常要看看它身边的其他词!Transformer 就是帮助大模型高效收集、加工全句线索的神经网络核心架构。
01

第一章:实验 1——词语侦探,找出“它”到底是谁

同一个代词“它”,当周围的动词与形容词变化时,指向的目标就会完全改变。

点击下方不同场景按钮,观察黄色高亮的“它”会向哪个紫色线索词求助:

⚠️ 科学小贴士:这是帮助理解指代关系的语言推理游戏,不是直接展示某个真实大模型内部算出的原始权重矩阵。如果句子本身信息不足,真实模型同样会面临歧义。
02

第二章:Transformer 阅读小队里有哪四位核心成员?

把零散文字变成深度理解,靠的是四个模块环环相扣的配合。

🧩

1. 词语卡片员(Token & Embedding)

先把句子拆成 Token(词元积木),再把每个词元映射成计算机能算的多维向量。

📍

2. 位置提示员(Positional Encoding)

给每个 Token 盖上“位置印章”,告诉小队谁在前面、谁在后面——毕竟“狗追猫”和“猫追狗”意思相反!

🔎

3. 注意力侦探(Self-Attention)

让每个位置参考全句其他位置的信息,按相关性强弱把关键上下文线索汇总过来。

🛠️

4. 思考加工站(Feed-Forward Network)

用前馈神经网络对汇聚好线索的每个位置做进一步特征加工,形成更丰富的语义表示。

注:真实的 Transformer 架构还包含残差连接(Residual Connection,防止信息在传递中丢失)与层归一化(LayerNorm,让数值计算更稳定)等关键设计。

03

第三章:实验 2——词语之间传“线索纸条”(自注意力与 Q/K/V)

当模型聚焦于某个词时,它会向全句发问,并按相关度收集其他词的信息。

想象句子是:“小狗 追着 小球 跑”。现在让“小狗”这个位置收集全句信息。点击下方不同词语按钮,看看它能从各个词那里收到什么线索:

示意线索相关度:
示意:高 (75%)
🌟 进阶揭秘:大名鼎鼎的 Query / Key / Value 是什么?
在真正的自注意力(Self-Attention)计算中,每个词位置都会生成三份向量:
• Query(查询 Q):“我想寻找什么样的线索?”
• Key(键 K):“我这里有什么类型的线索标签?”
• Value(值 V):“我实际能提供的语义内容是什么?”
模型先拿当前词的 Q 去和所有词的 K 比对算出匹配权重,再用这组权重把各个词的 V 加权汇总起来!
04

第四章:实验 3——顺序一换,故事全变(位置编码的重要性)

如果只把词装进袋子里不管先后顺序,模型就分不清谁追谁了!

点击按钮切换下面两句话——用到的三个汉字一模一样,但故事完全相反:

由于注意力机制本身可以同时看全句所有词,如果不加位置标记,它就会把两句话当成同一袋词。因此 Transformer 必须加入位置编码(Positional Encoding),让模型清楚知道每个词排在第几位。

05

第五章:实验 4——一层一层接力,理解越来越立体

现代大模型会把几十层甚至上百层 Transformer 模块叠在一起,逐层深化表示。

拖动下方滑块,体验“阅读小队”从第 1 站接力工作到第 4 站的过程:

⚠️ 防误解提醒:这里用“四站接力”做教学比喻。真实大模型并不是“第 1 层只认字、第 2 层只看语法”,而是每一层都在高维空间里共同学习并更新复杂的混合特征。
06

第六章:实验 5——一个侦探不够?请来一整支“多头注意力”小队!

一句话里往往同时藏着指代关系、空间位置、性质修饰等多种不同线索。

读读这句话:“小鸟站在树枝上,因为它很结实。” 点击下方不同的“注意力侦探头”,看看它们各自关注什么维度的关系:

在 Transformer 中,这叫作多头注意力(Multi-Head Attention):模型同时派出多组独立的 Query/Key/Value 计算通道,从不同角度捕捉词与词之间的关联,最后再把大家的发现拼合起来。

07

第七章:实验 6——阅读小队怎样帮忙写出下一个词?

经过多层 Transformer 汇聚全句线索后,模型就能计算下一个候选 Token 的概率分布。

📝 句子上下文:“窗外下大雨了,出门记得带上 ____ ”

👆 点击上方候选词,看看阅读小队的评估结果!

注:真实大模型每次预测时面对的是词表里数万个候选 Token 的概率分布。它会根据上下文算出概率,但这属于数学统计与特征推理,并不代表模型亲身淋过雨。

08

第八章:今天学到的 Transformer 知识全景地图

一张图串起从文字输入到预测输出的 5 大核心环节。

📝 1. 输入文字
➡️
🧩 2. Token + 向量 + 位置
➡️
🔎 3. 多头注意力 + 前馈网络
➡️
🔁 4. 多层堆叠深化
➡️
🎯 5. 预测下一个 Token
✨ 核心总结:Transformer 的神奇之处,不是让单个孤立的词突然变聪明,而是建立了一套高效机制,让每个位置都能充分吸收并加工整段上下文的线索!
09

第九章:小小 Transformer 工程师 · 5 题闯关挑战

完成下面 5 道单选题,检验你对 Transformer 阅读小队的理解!

1. Transformer 中的注意力机制(Attention)主要帮助模型做什么?

2. “猫追狗”和“狗追猫”字完全一样但意思相反,这说明 Transformer 为什么需要位置编码?

3. 关于多头注意力(Multi-Head Attention),下列哪种说法最准确?

4. Transformer 把许多处理层叠在一起(多层结构)的主要作用是什么?

5. 大语言模型利用 Transformer 读懂上文后,在生成回答时通常在做什么?

10

第十章:毕业任务——自己当一次阅读侦探

分析句子里的指代与位置线索,写出你的破案报告!

读一读这句话:“小兔子躲在大树后面,因为那里很安全。” 请试着回答下面 3 个小问题:

① 指代线索

句中的“那里”最可能指什么地方?

② 关键证据

你是从句中哪些词语找到线索的?

③ 语境变换

如果把“大树后面”换成“猎人脚边”,句子还合理吗?

🌟 参考破案思路:
① “那里”指向“大树后面”;② 句中的动词“躲在”、位置词“大树后面”以及形容词“安全”共同提供了上下文线索,注意力机制会把这些线索聚合到“那里”的表示中;③ 如果把“大树后面”换成“猎人脚边”,结合常识语境就会和“很安全”产生矛盾,说明上下文词汇的变化会直接改变全句的合理性与含义!

🏆 AI 入门第 3 讲 · 核心知识打卡台

🌱 阅读小队新星

已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)

✅ 1. 认识阅读小队四大核心成员
✅ 2. 理解自注意力与 Q/K/V 配合
✅ 3. 明白位置编码保证词序不乱
✅ 4. 掌握多头注意力多角度抓线索
✅ 5. 清楚多层堆叠服务下一词预测
Coding4Kids 专属少儿 AI 零基础互动系列教程 · AI 入门第 3 讲 · 所有互动实验与闯关状态均在本地浏览器安全运行。

相关文章

← 返回教程列表
顶部