🚀 CODING4KIDS · AI 零基础互动教程 · AI 入门系列

AI 入门第 7 讲:AI 的超级感官——看图片、听声音与多模态

如果给 AI 一张照片,它怎么知道照片里有什么?如果对它说一句话,它又怎样“听懂”?今天,我们带着 AI 机器人小星参加一场超级感官探险,用 6 个互动实验揭开多模态 AI 的秘密!

👶 建议年龄:9–15 岁 ⏱️ 约 25–35 分钟 🧩 6 个多模态互动实验 🏅 6 题侦探闯关

🤖 故事开始:小星遇到了一只神秘动物

小星收到三条线索:一张毛茸茸动物的照片、一段“喵喵”的声音,还有一句文字“它喜欢追毛线球”。单看一条线索,也许不够确定;把三条线索放在一起,小星就更有把握了!

💡 今天的关键概念:文字、图片、声音、视频等是不同的模态(Modality)。能处理或结合多种模态信息的 AI,叫作多模态人工智能(Multimodal AI)。
📝

文字模态

词语、句子、故事与指令

🖼️

图像模态

像素颜色、形状、物体与场景

🔊

声音模态

语音、音乐、自然环境声音

🎬

视频模态

随时间连续变化的画面与音轨

⚠️ 科学提醒:AI 的“看”和“听”只是方便理解的比喻说法。它不像人一样拥有眼睛和耳朵的主观感受,而是处理摄像头、麦克风等设备转换成的数字数据。
01

第一章:实验 01 · 图片侦探——一张图片,电脑看到的是什么?

屏幕上的图片由许多小方格组成,每个小方格叫像素(Pixel),彩色像素通常用红(R)、绿(G)、蓝(B)三个数值描述。

点击下方不同目标按钮,观察小星从画面中提取到的模拟视觉特征:

🐱

用表情符号表示的示意图片(底层为 RGB 像素矩阵)

🔍 模拟提取到的视觉特征线索:

注:真实图像模型处理的是海量像素及其组合形成的深层特征,并非先由人手工写好“耳朵、轮子”等死板规则。本实验展示的是从视觉线索推测类别的思路。

02

第二章:实验 02 · 声音解密——声音怎样变成 AI 可以处理的数据?

声音是空气的振动。麦克风把振动转成电信号,设备再采样变成一串数字,AI 就能分析这些数字的变化规律。

切换下方三种不同声音,观察模拟数字波形的振幅与节奏变化:

注:上方波形为教学数学模拟,不是真实录音,无需麦克风权限。此外,语音识别(ASR)是把人类语音转写成文字,而声音分类则是判断雨声、鸟鸣或乐器声,两者任务不同。

03

第三章:实验 03 · 多线索侦探社——一条线索不够?把线索组合起来!

当单一模态信息模糊时,结合图像、声音与文字多模态证据往往能做出更稳健的判断。

你正在调查一只神秘动物。勾选下方不同模态的线索,看看小星的把握如何变化:

⚠️ 防坑提醒:这是“合并多模态证据”的示意游戏,不是 AI 实际计算的概率值。现实中多条线索也可能一起误导我们——例如照片是猫,但旁边的录音其实是手机播放的配音!
04

第四章:实验 04 · 图片配文字——为什么一句描述要和图片对应?

多模态模型通过海量图文对学习哪些文字描述与哪些视觉内容经常一起出现。

请分别选择一张“图片”和一句“文字描述”,再点击按钮检查它们是否匹配:

👆 选择图片与文字后,点击“检查图文匹配”。

🌟 进阶揭秘:AI 怎样把图片和文字联系起来?
一种常见做法是把图片和文字分别编码成数值向量(Embedding),在共同的表示空间里训练,让含义相近的图片向量和文字向量距离更近(对比学习);另一种做法是把图像信息转换成视觉 Token,直接送入语言模型与文字一起通过注意力机制计算。
05

第五章:实验 05 · 视频时间线——只看一张图,可能猜错整个故事

视频不是一张孤立的静止图片,而是一连串随时间先后变化的画面序列。

点击“上一帧”或“下一帧”,观察时间线推进时故事动作是怎样展开的:

🏀🧒
第 1 / 4 帧

注:真实视频理解模型通常会按一定间隔抽样关键帧(Keyframes),并结合时间顺序编码与音轨信息综合判断,并不一定逐帧处理每一毫秒的全部画面。

06

第六章:实验 06 · AI 能力与边界——哪些任务需要哪种模态?

给小星分配实际任务,勾选最有帮助的信息模态组合(一个任务可能需要不止一种模态)。

👆 勾选所需模态后点击“提交模态方案”。

🛡️ 安全与隐私提醒:不要随意把自己、同学或家人的清晰人脸照片、私人录音、家庭住址上传到陌生 AI 网站。同时,多模态 AI 也可能看错图、听错话,重要结论必须核实!
07

第七章:把今天的多模态知识串起来

从多源感官数据输入到跨模态协同回答的完整四步路线。

① 收集模态

图片、文字、声音、视频等不同形式的数据进入系统。

② 数字转换

像素、声波与文本被编码成模型可以计算的数字向量表示。

③ 跨模态联系

模型学习图文音之间的语义关联,并结合上下文线索对齐。

④ 综合回答

模型描述画面、转写语音或回答问题,但仍需人类核查把关。

🌟 今天最重要的三句话:
① 多模态(Multimodal)就是处理或结合文字、图片、声音、视频等不同类型的信息。
② AI 把这些信息转成数字表示并学习它们之间的关系,这不是人类主观感官的简单复制。
③ 多模态 AI 很有用,但也会看错或听错;使用时要核实结果、尊重并保护个人隐私。
08

第八章:多模态小侦探 · 6 题闯关挑战

完成下面 6 道单选题,检验你对图像、声音与多模态 AI 的理解!

1. “多模态”中的“模态(Modality)”指的是什么?

2. 彩色数字图片的每个像素(Pixel)通常可以用哪些数值描述?

3. 麦克风记录下的声音,最终怎样供 AI 模型处理?

4. 给一段有人讲话的视频自动配字幕,什么信息尤其重要?

5. 多条线索都指向同一个答案时,结果就一定 100% 正确吗?

6. 在日常生活中使用多模态 AI 时,下列哪种做法更安全负责?

09

第九章:毕业任务——为小星设计一个有用的多模态助手

想象你要设计一个帮助同学学习的 AI 助手:它处理哪些模态?能帮什么忙?怎样保护同学隐私?

✍️ 写下你的多模态创意方案吧!
🌿 参考设计:校园植物观察助手
学生拍摄一张植物叶片或花朵照片(图像模态),并输入发现地点的大致环境与叶片特点(文字模态),AI 给出可能的植物种类、辨认依据和不确定之处;遇到疑似有毒植物时提醒不要触碰。上传前自动提醒避开人脸、校牌和家庭位置,并建议对照可靠植物图鉴或请教自然课老师。

🏆 AI 入门第 7 讲 · 核心知识打卡台

🌱 感官探险新星

已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)

✅ 1. 认识文字/图像/声音/视频模态
✅ 2. 明白像素 RGB 与视觉特征提取
✅ 3. 理解声音数字化波形与分类转写
✅ 4. 掌握图文向量对齐与视频时间线
✅ 5. 牢记多模态隐私保护与事实核验
Coding4Kids 专属少儿 AI 零基础互动系列教程 · AI 入门第 7 讲 · 所有多模态互动实验均在本地浏览器安全运行。
← Back to tutorials
Top