AI 入门第 26 讲:AI 为什么会考试考砸?过拟合、欠拟合与泛化
一位训练题满分的机器人,为什么遇到新题却频频出错?六个真正可操作的实验,带你学会像科学家一样评价 AI。
小星给小乐看成绩单:“我把训练题全记住了,100分!”小乐拿来一张新试卷,小星却只答对一半。“原来记住旧题,不等于学会解新题!”
今天你就是 AI 教练:既要让模型学习,也要负责给它安排真正公平的考试。
学习目标:理解欠拟合、过拟合、泛化;认识训练集、验证集和测试集;通过真实计算比较模型复杂度、噪声、数据泄漏与交叉验证。
📈 一条曲线能不能“背下”所有题?
我们用同一批训练点拟合多项式。改变复杂度,观察训练误差和新数据误差。这里真正使用最小二乘拟合(含数值稳定的岭正则)。
测试集是独立生成的样本;真实世界的测试集应尽可能在模型选择完成后才使用。
🎲 训练样本越多,就一定不会过拟合吗?
固定模型次数,改变训练样本数量和噪声强度,重复采样比较结果。数据更多通常有帮助,但不保证每次测试误差都降低。
🧪 训练集、验证集、测试集各做什么?
下面有三份不重叠的模拟试卷。点击“验证候选模型”比较复杂度,再锁定模型做一次最终测试。注意:不能反复看测试成绩再调整模型。
🕵️ 为什么“偷看答案”会得到虚假的高分?
一个模型根据“学生作答后的总分”预测是否及格。这个字段在真正考试前根本不存在!勾选泄漏特征,观察看似漂亮的测试准确率。
🔄 换一批验证题,结论会不会变?
把同一批数据分成五份,轮流拿一份验证,其余四份训练。比较不同模型在五次验证中的平均误差;这叫 5 折交叉验证。
为了避免信息泄漏,所有拟合步骤都必须仅在每一折的训练部分完成。最终模型仍应在独立测试集上评估。
🏅 给不同的模型开诊断书
观察下面的训练和验证误差,选择更合理的下一步。每次点击“换一题”都会出现不同场景。
🗺️ 知识地图与进阶探索
训练和验证表现都差。可能是模型表达能力不足、训练不充分,或特征不合适。
训练表现很好,但验证表现明显变差。模型可能记住了噪声或偶然细节。
在与任务目标相符的未见数据上仍有好表现。不能只靠训练分数衡量。
训练用于学习;验证用于调参;测试用于最终评估。数据切分要符合实际部署场景。
📚 进阶:为什么复杂模型容易过拟合?
复杂模型可以表示更多种函数,因此更容易拟合训练数据中的随机波动。但复杂度不是唯一原因:数据量、噪声、正则化、训练过程和数据分布同样重要。
📚 进阶:正则化在做什么?
训练时除了追求预测误差小,还可以惩罚过大的参数,例如岭回归的目标:平均平方误差 + λ × 参数平方和。它通常让曲线更平稳,但 λ 过大也可能欠拟合。
📚 进阶:验证集和测试集为什么要分开?
如果多次根据测试分数挑选模型,测试集就间接参与了训练决策,最终成绩会变得乐观。应使用验证集(或交叉验证)选择模型,最后只做一次独立测试。
📚 进阶:分布变化怎么办?
即使模型在旧测试集上表现很好,现实环境改变后也可能失效,例如季节变化、用户群变化。需要监测新数据上的表现,必要时更新数据和模型。
📝 6 道理解测验
答完点击评分;每题会显示解析。正确率是本次练习成绩,不代表对知识的永久掌握。
🎓 毕业任务:设计一位不会“背题”的 AI 教练
学校想开发一个预测图书借阅量的模型。请写下:①有哪些输入特征;②如何按时间划分训练、验证、测试数据;③怎样发现过拟合;④出现数据分布变化时怎么办。
🏆 AI 入门第 26 讲 · 核心知识打卡台
🌱 见习 AI 观察员已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)