🚀 CODING4KIDS · AI 零基础互动教程 · AI 入门系列

AI 入门第 2 讲:大模型是怎样读懂一句话的?

同一个“苹果”为什么有时是水果、有时是电脑?计算机明明只认识数字,怎么把文字变成可计算的向量?“注意力机制”又是怎样帮模型结合上下文破案的?这一讲用 6 个可视化互动实验拆开看!

⏱️ 建议 20–25 分钟 🧩 Token 切分实验 📊 4 维词向量滑块 🔥 注意力热力图 🎯 5 题随堂闯关

🔗 先回顾《AI 入门第 1 讲》:我们已经知道,大语言模型(LLM)会根据上下文逐步预测并生成 Token。但这留下了一个超级关键的问题:计算机底层处理的明明是数字,它到底怎么分辨一句话里的“苹果”是红彤彤的水果,还是一家科技公司?

🧭 本讲探索路线图:文字 → Token(词元)→ 向量(Embedding)→ 注意力机制(Attention)→ 结合上下文的表示。

💡 实验说明:本讲使用小规模、可视化的玩具实验帮你建立直觉。真实大模型的向量维度(成百上千维)、网络层数与矩阵计算远比示意复杂。
01

第一章:同一个词,为什么会有不同意思?

人类靠“周围词语线索”理解词义,大模型也需要从上下文里找线索。

读读下面两句话,想想句中的“苹果”分别指什么:

🍎

语境 A:日常生活

我把苹果洗干净,准备当早餐。

线索词:“洗干净”“早餐” → 指向水果
💻

语境 B:数字创作

我用苹果电脑剪辑视频。

线索词:“电脑”“剪辑视频” → 指向科技品牌

🧪 互动实验 1:切换句子,观察上下文破案线索

真实模型不会只查一张死板的“词语对照表”,而是结合整句话甚至更长段落的上下文来计算含义。遇到“我喜欢苹果”这种线索不足的短句,歧义就会保留。

02

第二章:第一步——文字变成 Token

模型先把连续文字切分成一个个基本处理积木(Token),再映射成编号。

模型不会直接把整句话当成人类眼睛看到的笔画来算。它会先用分词器(Tokenizer)把文本切分成 Token,再给每个 Token 查出一个对应的数字 ID。

⚠️ 重要提醒:Token 不等于“一个汉字”!
一个 Token 可能是一个汉字、一个常见词组、半个英文单词,或者一个标点符号。具体怎么切,取决于该模型训练时打造的分词器词表。

🧪 互动实验 2:动手输入文字,观察 Token 切分示意

快捷试一试:
03

第三章:第二步——Token 变成向量(Embedding)

单靠一个编号无法表达丰富含义,一组多维数字组成的“向量”才能参与特征计算。

计算机虽然擅长算数字,但Token ID 只是一个排队编号。比如给“苹果”编号 5831,并不代表 5831 比 2000 更甜或更有科技感。

因此,模型会把每个 Token 映射成一排数字组成的列表,这排数字就叫向量(Vector)。把词元映射成稠密向量的过程与表示,就叫作Embedding(词嵌入)。

🏷️ Token ID:只是一个学号

苹果 → 5831

像字典页码一样方便查找,但单个编号的大小本身不包含任何语义关系。

🧭 Embedding:多维特征坐标

苹果 → [0.6, -0.3, 0.8, 0.1, …]

由成百上千个维度共同构成,能承载训练中学到的复杂特征并参与神经网络运算。

🧪 互动实验 3:拨动 4 维滑块,直观感受“向量是一组数”

下面用 4 个虚构维度来表示一个词。拖动滑块观察柱状图与向量数组如何同步变化(注:数值仅为教学示意):

0.6
-0.3
0.8
0.1

当前示意向量:[0.6, -0.3, 0.8, 0.1]

真实大模型的向量往往有数百甚至数千个维度。我们通常不能把某一个维度简单翻译成“水果程度”或“科技程度”,因为语义信息是分散在许多维度的组合之中的。
04

第四章:Embedding 能表示词语相似性吗?

在训练好的高维向量空间里,用法或含义相近的词,往往在方向或距离上更接近。

🐶

狗

常见语境:动物、宠物、看家

🐱

猫

常见语境:动物、宠物、抓老鼠

🚲

自行车

常见语境:交通工具、骑行

从直觉上看,“狗”和“猫”经常出现在相似的句子结构里,它们的向量关系通常会比“狗”和“自行车”更近。不过要注意:向量相似度取决于训练数据、模型结构和具体度量方式。

🧪 互动实验 4:点击对比词语,查看示意相似度

🐶 狗 vs 🐱 猫:示意相似度 0.82
两者都常出现在动物、家庭宠物相关语境中。数值仅为教学示意,不代表真实模型测量值。
05

第五章:关键问题——同一个“苹果”,向量会不会变?

区分“初始输入 Embedding”与经过注意力计算后的“动态上下文表示”。

1️⃣ 初始输入 Embedding(静态查表)

刚进模型第一层时,相同的 Token ID 通常会查到同一组初始 Embedding 参数。

2️⃣ 上下文表示(逐层动态更新)

经过注意力机制等网络层计算后,词元表示会吸收周围词的信息。水果句和电脑句里的“苹果”最终表示就不同了!

🧪 互动实验 5:观察上下文线索如何改变“苹果”的内部表示

🍎
上下文表示倾向:更可能是水果

“咬了一口”“真甜”为模型提供了强烈的水果特征线索。

核心词:苹果 线索 1:咬了一口 线索 2:真甜
06

第六章:注意力机制 Attention——让关键线索更“受关注”

一句话里不是每个词都同样重要,Attention 帮模型按相关性汇总上下文信息。

看这句话:“小明把球放进箱子,因为它很大。” 这里的“它”指的是什么?人类知道大概率指“箱子”。模型要想读懂“它”,就不能只盯着“它”本身,而必须去关注句中的其他词。

🧪 互动实验 6:拖动注意力滑块,观察热力图权重分配

下方热力图示意模型在处理代词“它”时,给句中不同词分配的关注度权重。拖动滑块改变分给“箱子”的注意力比例:

70%
关注方向
小明
箱子
它(自身)
“它”在看谁权重合计 100%
10%
70%
20%

在 Transformer 架构中,注意力通常通过 Query(查询)、Key(键)、Value(值)三组向量计算完成——这正是我们在《AI 入门第 3 讲》将深入揭秘的主角!

07

第七章:把整个过程串起来——大模型读懂句子的 4 步流水线

从人类输入的文字,到模型真正能用来推理预测的上下文表示。

  1. 分词(Tokenization):把输入的自然语言句子切分成模型词表中的 Token,并转换为 Token ID。
  2. 映射为向量(Embedding):将每个 Token ID 映射为高维初始向量,并加上位置信息(让模型知道词的先后顺序)。
  3. 经过注意力与神经网络层(Attention & Layers):让不同位置的词互相交换线索,逐层更新为融合了上下文的表示。
  4. 预测输出(Prediction):利用最后一层形成的上下文表示,计算下一个最可能出现的 Token 概率分布。
📝 原始文字➡️ 🧩 Token 序列➡️ 📊 Embedding 向量➡️ 🔥 Attention 聚合➡️ 🧠 上下文表示
08

第八章:随堂闯关考场——检查你的理解(5 题挑战)

完成下面 5 道单选题,看看你是不是已经拿下了词向量与注意力机制的核心精髓!

1. 关于大模型中的 Token,下列最准确的解释是什么?

2. 为什么模型要把 Token 转换成向量(Embedding)?

3. 同一个“苹果”,在不同句子中的最终上下文表示为什么会不同?

4. 注意力机制(Attention)主要帮助模型做什么?

5. 本讲互动实验里的 4 维向量图和注意力热力图意味着什么?

09

第九章:毕业表达任务——用上下文解释词义

试着用今天学到的概念,向朋友解释模型如何区分两句话里的“苹果”。

请用自己的话写一段简短解释:为什么大模型看到“我把苹果切成四块”和“我用苹果电脑写代码”时,能对“苹果”形成不同的理解?(建议至少提到 Token、向量/Embedding、上下文、注意力机制 中的两个词):

🌟 参考思路范例:
大模型会先把这两句话切分成 Token,并映射成初始向量(Embedding)。在随后的处理层中,注意力机制(Attention)会让“苹果”去关注周围相关的线索词——第一句里的“切成四块”提供了水果线索,第二句里的“电脑”“写代码”提供了科技产品线索。因此经过多层计算后,两个“苹果”就形成了不同的上下文表示!

🏆 AI 入门第 2 讲 · 核心知识打卡台

🌱 词元观察员

已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)

✅ 1. 理解 Token 是文本切分单位
✅ 2. 明白 Embedding 把词映射为向量
✅ 3. 懂得高维向量无法单维直译
✅ 4. 区分静态输入与动态上下文表示
✅ 5. 掌握 Attention 聚合上下文线索
Coding4Kids 专属少儿 AI 零基础互动系列教程 · AI 入门第 2 讲 · 所有互动实验与闯关状态均在本地浏览器安全运行。
← Back to tutorials
Top