🌱 Coding4Kids · AI 零基础互动教程 · 第 26 / 48 讲

AI 入门第 26 讲:AI 为什么会考试考砸?过拟合、欠拟合与泛化

一位训练题满分的机器人,为什么遇到新题却频频出错?六个真正可操作的实验,带你学会像科学家一样评价 AI。

🎯 零基础直觉图解 🧪 可交互实验工坊 🏅 6 题闯关自测 🔒 100% 本地安全运行
📖 故事:小星的满分危机

小星给小乐看成绩单:“我把训练题全记住了,100分!”小乐拿来一张新试卷,小星却只答对一半。“原来记住旧题,不等于学会解新题!”

今天你就是 AI 教练:既要让模型学习,也要负责给它安排真正公平的考试。

学习目标:理解欠拟合、过拟合、泛化;认识训练集、验证集和测试集;通过真实计算比较模型复杂度、噪声、数据泄漏与交叉验证。

三个关键概念:欠拟合=模型太简单或没学好;过拟合=模型过度贴合训练数据的细节与噪声;泛化=模型处理未见过、同类新数据的能力。它们不是仅凭一张分数表就能绝对判定的。
实验 01 · 拟合的三张面孔

📈 一条曲线能不能“背下”所有题?

我们用同一批训练点拟合多项式。改变复杂度,观察训练误差和新数据误差。这里真正使用最小二乘拟合(含数值稳定的岭正则)。

训练样本测试样本模型曲线
训练 MSE—
测试 MSE—

测试集是独立生成的样本;真实世界的测试集应尽可能在模型选择完成后才使用。

实验 02 · 数据量与噪声

🎲 训练样本越多,就一定不会过拟合吗?

固定模型次数,改变训练样本数量和噪声强度,重复采样比较结果。数据更多通常有帮助,但不保证每次测试误差都降低。

实验 03 · 三份试卷

🧪 训练集、验证集、测试集各做什么?

下面有三份不重叠的模拟试卷。点击“验证候选模型”比较复杂度,再锁定模型做一次最终测试。注意:不能反复看测试成绩再调整模型。

先用训练集拟合,再用验证集挑选模型。
实验 04 · 数据泄漏侦探

🕵️ 为什么“偷看答案”会得到虚假的高分?

一个模型根据“学生作答后的总分”预测是否及格。这个字段在真正考试前根本不存在!勾选泄漏特征,观察看似漂亮的测试准确率。

教学数据是程序生成的。这里的泄漏指使用预测时无法获得的信息,与训练集、测试集重复也是另一种常见泄漏。真实项目还要防范同一人的记录跨集合泄漏。
实验 05 · 交叉验证

🔄 换一批验证题,结论会不会变?

把同一批数据分成五份,轮流拿一份验证,其余四份训练。比较不同模型在五次验证中的平均误差;这叫 5 折交叉验证。

为了避免信息泄漏,所有拟合步骤都必须仅在每一折的训练部分完成。最终模型仍应在独立测试集上评估。

实验 06 · AI 教练挑战

🏅 给不同的模型开诊断书

观察下面的训练和验证误差,选择更合理的下一步。每次点击“换一题”都会出现不同场景。

选择一项行动,看看你的诊断是否合理。

🗺️ 知识地图与进阶探索

欠拟合

训练和验证表现都差。可能是模型表达能力不足、训练不充分,或特征不合适。

过拟合

训练表现很好,但验证表现明显变差。模型可能记住了噪声或偶然细节。

泛化

在与任务目标相符的未见数据上仍有好表现。不能只靠训练分数衡量。

公平评估

训练用于学习;验证用于调参;测试用于最终评估。数据切分要符合实际部署场景。

📚 进阶:为什么复杂模型容易过拟合?

复杂模型可以表示更多种函数,因此更容易拟合训练数据中的随机波动。但复杂度不是唯一原因:数据量、噪声、正则化、训练过程和数据分布同样重要。

📚 进阶:正则化在做什么?

训练时除了追求预测误差小,还可以惩罚过大的参数,例如岭回归的目标:平均平方误差 + λ × 参数平方和。它通常让曲线更平稳,但 λ 过大也可能欠拟合。

📚 进阶:验证集和测试集为什么要分开?

如果多次根据测试分数挑选模型,测试集就间接参与了训练决策,最终成绩会变得乐观。应使用验证集(或交叉验证)选择模型,最后只做一次独立测试。

📚 进阶:分布变化怎么办?

即使模型在旧测试集上表现很好,现实环境改变后也可能失效,例如季节变化、用户群变化。需要监测新数据上的表现,必要时更新数据和模型。

📝 6 道理解测验

答完点击评分;每题会显示解析。正确率是本次练习成绩,不代表对知识的永久掌握。

已答 0 / 6

🎓 毕业任务:设计一位不会“背题”的 AI 教练

学校想开发一个预测图书借阅量的模型。请写下:①有哪些输入特征;②如何按时间划分训练、验证、测试数据;③怎样发现过拟合;④出现数据分布变化时怎么办。

隐私提示:请只使用虚构案例,不填写真实学生姓名、成绩或个人信息。方案只在你的浏览器本地保存,不会上传服务器。

🏆 AI 入门第 26 讲 · 核心知识打卡台

🌱 见习 AI 观察员

已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)

✅ 1. 掌握:核心模块 01
✅ 2. 掌握:一条曲线能不能“背下”所有题?
✅ 3. 掌握:训练样本越多,就一定不会过拟合吗?
✅ 4. 掌握:训练集、验证集、测试集各做什么?
✅ 5. 掌握:为什么“偷看答案”会得到虚假的高分?
Coding4Kids 专属少儿 AI 零基础互动系列教程 · AI 入门第 26 讲 · 所有互动实验均在浏览器本地安全运行,不采集上传任何个人信息。

相关文章

← 返回教程列表
顶部