AI 入门第 15 讲:AI 怎样听懂声音?语音识别与声音世界
声音看不见、摸不着,为什么手机能听懂“设置闹钟”?跟机器人小星一起,把声音变成波形、数字和文字,探索语音识别与声音世界的奥秘!
🤖 故事开场:小星的耳朵在哪里?
小乐对小星说:“帮我找一首轻快的歌。”小星先把麦克风接收到的声音转换成数字,再利用语音识别模型推测小乐说了什么。可是旁边的风扇嗡嗡响,小星把“轻快”听成了“勤快”……它该怎么办?
声音是振动
振动使空气产生压力变化,传到耳朵或麦克风。
麦克风转成信号
设备采集信号,再把它表示成一串数字。
模型识别规律
从声音特征和上下文中推测语音内容。
实验 01 · 声波实验室:声音为什么有高低和大小?
调节频率和振幅,观察声波怎样改变。可以按“播放示范音”听到生成的简单正弦波(音量请调低)。
频率越高,通常听起来越尖。
振幅增大,通常听起来更响;真实响度感受还受频率等因素影响。
这里用数学正弦波模拟纯音。真实语音由许多不同频率成分组成,复杂得多。本实验不录音。
实验 02 · 数字采样机:怎样把连续声波变成数字?
计算机不能直接把整条连续曲线存进内存,需要在许多时刻测量它,这叫采样。采样点越稀疏,越容易遗漏变化。
实验 03 · 声音特征侦探:为什么声音也能画成“图”?
语音中不同频率的能量随时间变化。声谱图把时间、频率和能量放到一张图里。
这是教学用的人工特征图,不是对真实录音计算得到的声谱图。真正的声谱图通常通过短时傅里叶变换等方法得到。
实验 04 · 语音识别闯关:同音词——光听声音够不够?
中文有很多同音或近音词。小星听到一段声音后,还需要利用上下文推测最合理的文字。
实验 05 · 噪声挑战赛:风扇太吵,为什么 AI 听错了?
拖动噪声滑块,看看教学用的简化置信度模型怎样变化。
图中的百分比是预设教学公式算出的示意分数,不是实际 AI 模型的准确率或可靠概率。降噪也可能损伤有用语音。
实验 06 · AI 听觉任务指挥官:听懂、翻译、说出来是同一件事吗?
语音技术其实有不同任务分工。请为下面任务选择正确的技术。
知识地图 · 一句话是怎样被 AI 识别的?
一张图看懂从声波振动到文字输出的六步典型流程。
这是一条便于理解的典型流程。现代端到端模型不一定显式分成每一步,有些模型直接从波形或其他音频表示学习。
💡 进阶知识:为什么有些语音助手还会回答问题?
语音识别把声音转换成文字或内部表示;语言模型理解问题并生成回答;语音合成再把回答变成声音。现代多模态系统也可能把多个环节整合到一个模型里。
💡 进阶知识:什么是频谱和声谱图?
频谱描述声音包含哪些频率成分。声谱图则展示这些频率成分随时间的变化。语音中的元音、辅音和噪声可能产生不同图案,但不能仅凭一张示意图准确识别所有词语。
知识闯关 · 6 道题,挑战声音探索家徽章
完成下面 6 道单选题,检验你对声波采样、声谱图与语音技术的理解!
毕业任务 · 设计一个“校园语音小助手”
它能帮助谁?要识别什么声音?如果听错了怎么办?怎样保护使用者隐私?
🌟 查看参考方案
“课堂字幕小助手”在获得老师和同学适当同意后,为课堂讲话生成字幕。它会在噪声大或结果不确定时标记“待确认”,不擅自猜测人名;默认不保存录音,允许授权人员管理数据。
① 声音是振动,麦克风和采样技术能把它变成数字信号。
② AI 语音识别会利用声音特征和上下文,但遇到噪声、口音或同音词仍可能出错。
③ 语音识别、语音翻译和语音合成是不同任务;使用录音技术时必须注意隐私与同意。
🏆 AI 入门第 15 讲 · 核心知识打卡台
🌱 声音探索新星已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)