AI 入门第 7 讲:AI 的超级感官——看图片、听声音与多模态
如果给 AI 一张照片,它怎么知道照片里有什么?如果对它说一句话,它又怎样“听懂”?今天,我们带着 AI 机器人小星参加一场超级感官探险,用 6 个互动实验揭开多模态 AI 的秘密!
🤖 故事开始:小星遇到了一只神秘动物
小星收到三条线索:一张毛茸茸动物的照片、一段“喵喵”的声音,还有一句文字“它喜欢追毛线球”。单看一条线索,也许不够确定;把三条线索放在一起,小星就更有把握了!
文字模态
词语、句子、故事与指令
图像模态
像素颜色、形状、物体与场景
声音模态
语音、音乐、自然环境声音
视频模态
随时间连续变化的画面与音轨
第一章:实验 01 · 图片侦探——一张图片,电脑看到的是什么?
屏幕上的图片由许多小方格组成,每个小方格叫像素(Pixel),彩色像素通常用红(R)、绿(G)、蓝(B)三个数值描述。
点击下方不同目标按钮,观察小星从画面中提取到的模拟视觉特征:
用表情符号表示的示意图片(底层为 RGB 像素矩阵)
注:真实图像模型处理的是海量像素及其组合形成的深层特征,并非先由人手工写好“耳朵、轮子”等死板规则。本实验展示的是从视觉线索推测类别的思路。
第二章:实验 02 · 声音解密——声音怎样变成 AI 可以处理的数据?
声音是空气的振动。麦克风把振动转成电信号,设备再采样变成一串数字,AI 就能分析这些数字的变化规律。
切换下方三种不同声音,观察模拟数字波形的振幅与节奏变化:
注:上方波形为教学数学模拟,不是真实录音,无需麦克风权限。此外,语音识别(ASR)是把人类语音转写成文字,而声音分类则是判断雨声、鸟鸣或乐器声,两者任务不同。
第三章:实验 03 · 多线索侦探社——一条线索不够?把线索组合起来!
当单一模态信息模糊时,结合图像、声音与文字多模态证据往往能做出更稳健的判断。
你正在调查一只神秘动物。勾选下方不同模态的线索,看看小星的把握如何变化:
第四章:实验 04 · 图片配文字——为什么一句描述要和图片对应?
多模态模型通过海量图文对学习哪些文字描述与哪些视觉内容经常一起出现。
请分别选择一张“图片”和一句“文字描述”,再点击按钮检查它们是否匹配:
👆 选择图片与文字后,点击“检查图文匹配”。
一种常见做法是把图片和文字分别编码成数值向量(Embedding),在共同的表示空间里训练,让含义相近的图片向量和文字向量距离更近(对比学习);另一种做法是把图像信息转换成视觉 Token,直接送入语言模型与文字一起通过注意力机制计算。
第五章:实验 05 · 视频时间线——只看一张图,可能猜错整个故事
视频不是一张孤立的静止图片,而是一连串随时间先后变化的画面序列。
点击“上一帧”或“下一帧”,观察时间线推进时故事动作是怎样展开的:
注:真实视频理解模型通常会按一定间隔抽样关键帧(Keyframes),并结合时间顺序编码与音轨信息综合判断,并不一定逐帧处理每一毫秒的全部画面。
第六章:实验 06 · AI 能力与边界——哪些任务需要哪种模态?
给小星分配实际任务,勾选最有帮助的信息模态组合(一个任务可能需要不止一种模态)。
👆 勾选所需模态后点击“提交模态方案”。
第七章:把今天的多模态知识串起来
从多源感官数据输入到跨模态协同回答的完整四步路线。
① 收集模态
图片、文字、声音、视频等不同形式的数据进入系统。
② 数字转换
像素、声波与文本被编码成模型可以计算的数字向量表示。
③ 跨模态联系
模型学习图文音之间的语义关联,并结合上下文线索对齐。
④ 综合回答
模型描述画面、转写语音或回答问题,但仍需人类核查把关。
① 多模态(Multimodal)就是处理或结合文字、图片、声音、视频等不同类型的信息。
② AI 把这些信息转成数字表示并学习它们之间的关系,这不是人类主观感官的简单复制。
③ 多模态 AI 很有用,但也会看错或听错;使用时要核实结果、尊重并保护个人隐私。
第八章:多模态小侦探 · 6 题闯关挑战
完成下面 6 道单选题,检验你对图像、声音与多模态 AI 的理解!
第九章:毕业任务——为小星设计一个有用的多模态助手
想象你要设计一个帮助同学学习的 AI 助手:它处理哪些模态?能帮什么忙?怎样保护同学隐私?
学生拍摄一张植物叶片或花朵照片(图像模态),并输入发现地点的大致环境与叶片特点(文字模态),AI 给出可能的植物种类、辨认依据和不确定之处;遇到疑似有毒植物时提醒不要触碰。上传前自动提醒避开人脸、校牌和家庭位置,并建议对照可靠植物图鉴或请教自然课老师。
🏆 AI 入门第 7 讲 · 核心知识打卡台
🌱 感官探险新星已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)