AI 入门第 2 讲:大模型是怎样读懂一句话的?
同一个“苹果”为什么有时是水果、有时是电脑?计算机明明只认识数字,怎么把文字变成可计算的向量?“注意力机制”又是怎样帮模型结合上下文破案的?这一讲用 6 个可视化互动实验拆开看!
🔗 先回顾《AI 入门第 1 讲》:我们已经知道,大语言模型(LLM)会根据上下文逐步预测并生成 Token。但这留下了一个超级关键的问题:计算机底层处理的明明是数字,它到底怎么分辨一句话里的“苹果”是红彤彤的水果,还是一家科技公司?
🧭 本讲探索路线图:文字 → Token(词元)→ 向量(Embedding)→ 注意力机制(Attention)→ 结合上下文的表示。
第一章:同一个词,为什么会有不同意思?
人类靠“周围词语线索”理解词义,大模型也需要从上下文里找线索。
读读下面两句话,想想句中的“苹果”分别指什么:
语境 A:日常生活
我把苹果洗干净,准备当早餐。
线索词:“洗干净”“早餐” → 指向水果语境 B:数字创作
我用苹果电脑剪辑视频。
线索词:“电脑”“剪辑视频” → 指向科技品牌🧪 互动实验 1:切换句子,观察上下文破案线索
真实模型不会只查一张死板的“词语对照表”,而是结合整句话甚至更长段落的上下文来计算含义。遇到“我喜欢苹果”这种线索不足的短句,歧义就会保留。
第二章:第一步——文字变成 Token
模型先把连续文字切分成一个个基本处理积木(Token),再映射成编号。
模型不会直接把整句话当成人类眼睛看到的笔画来算。它会先用分词器(Tokenizer)把文本切分成 Token,再给每个 Token 查出一个对应的数字 ID。
一个 Token 可能是一个汉字、一个常见词组、半个英文单词,或者一个标点符号。具体怎么切,取决于该模型训练时打造的分词器词表。
🧪 互动实验 2:动手输入文字,观察 Token 切分示意
第三章:第二步——Token 变成向量(Embedding)
单靠一个编号无法表达丰富含义,一组多维数字组成的“向量”才能参与特征计算。
计算机虽然擅长算数字,但Token ID 只是一个排队编号。比如给“苹果”编号 5831,并不代表 5831 比 2000 更甜或更有科技感。
因此,模型会把每个 Token 映射成一排数字组成的列表,这排数字就叫向量(Vector)。把词元映射成稠密向量的过程与表示,就叫作Embedding(词嵌入)。
🏷️ Token ID:只是一个学号
像字典页码一样方便查找,但单个编号的大小本身不包含任何语义关系。
🧭 Embedding:多维特征坐标
由成百上千个维度共同构成,能承载训练中学到的复杂特征并参与神经网络运算。
🧪 互动实验 3:拨动 4 维滑块,直观感受“向量是一组数”
下面用 4 个虚构维度来表示一个词。拖动滑块观察柱状图与向量数组如何同步变化(注:数值仅为教学示意):
当前示意向量:[0.6, -0.3, 0.8, 0.1]
第四章:Embedding 能表示词语相似性吗?
在训练好的高维向量空间里,用法或含义相近的词,往往在方向或距离上更接近。
狗
常见语境:动物、宠物、看家
猫
常见语境:动物、宠物、抓老鼠
自行车
常见语境:交通工具、骑行
从直觉上看,“狗”和“猫”经常出现在相似的句子结构里,它们的向量关系通常会比“狗”和“自行车”更近。不过要注意:向量相似度取决于训练数据、模型结构和具体度量方式。
🧪 互动实验 4:点击对比词语,查看示意相似度
第五章:关键问题——同一个“苹果”,向量会不会变?
区分“初始输入 Embedding”与经过注意力计算后的“动态上下文表示”。
1️⃣ 初始输入 Embedding(静态查表)
刚进模型第一层时,相同的 Token ID 通常会查到同一组初始 Embedding 参数。
2️⃣ 上下文表示(逐层动态更新)
经过注意力机制等网络层计算后,词元表示会吸收周围词的信息。水果句和电脑句里的“苹果”最终表示就不同了!
🧪 互动实验 5:观察上下文线索如何改变“苹果”的内部表示
“咬了一口”“真甜”为模型提供了强烈的水果特征线索。
第六章:注意力机制 Attention——让关键线索更“受关注”
一句话里不是每个词都同样重要,Attention 帮模型按相关性汇总上下文信息。
看这句话:“小明把球放进箱子,因为它很大。” 这里的“它”指的是什么?人类知道大概率指“箱子”。模型要想读懂“它”,就不能只盯着“它”本身,而必须去关注句中的其他词。
🧪 互动实验 6:拖动注意力滑块,观察热力图权重分配
下方热力图示意模型在处理代词“它”时,给句中不同词分配的关注度权重。拖动滑块改变分给“箱子”的注意力比例:
在 Transformer 架构中,注意力通常通过 Query(查询)、Key(键)、Value(值)三组向量计算完成——这正是我们在《AI 入门第 3 讲》将深入揭秘的主角!
第七章:把整个过程串起来——大模型读懂句子的 4 步流水线
从人类输入的文字,到模型真正能用来推理预测的上下文表示。
- 分词(Tokenization):把输入的自然语言句子切分成模型词表中的 Token,并转换为 Token ID。
- 映射为向量(Embedding):将每个 Token ID 映射为高维初始向量,并加上位置信息(让模型知道词的先后顺序)。
- 经过注意力与神经网络层(Attention & Layers):让不同位置的词互相交换线索,逐层更新为融合了上下文的表示。
- 预测输出(Prediction):利用最后一层形成的上下文表示,计算下一个最可能出现的 Token 概率分布。
第八章:随堂闯关考场——检查你的理解(5 题挑战)
完成下面 5 道单选题,看看你是不是已经拿下了词向量与注意力机制的核心精髓!
第九章:毕业表达任务——用上下文解释词义
试着用今天学到的概念,向朋友解释模型如何区分两句话里的“苹果”。
请用自己的话写一段简短解释:为什么大模型看到“我把苹果切成四块”和“我用苹果电脑写代码”时,能对“苹果”形成不同的理解?(建议至少提到 Token、向量/Embedding、上下文、注意力机制 中的两个词):
大模型会先把这两句话切分成 Token,并映射成初始向量(Embedding)。在随后的处理层中,注意力机制(Attention)会让“苹果”去关注周围相关的线索词——第一句里的“切成四块”提供了水果线索,第二句里的“电脑”“写代码”提供了科技产品线索。因此经过多层计算后,两个“苹果”就形成了不同的上下文表示!
🏆 AI 入门第 2 讲 · 核心知识打卡台
🌱 词元观察员已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)