AI 入门第 19 讲:数据是 AI 的学习材料——样本、标签、特征与数据质量
为什么同样的机器学习算法,换一批数据就可能表现天差地别?今天我们亲自制作训练集、解剖样本卡片、纠正错误标签、排查数据偏差与泄漏,成为一名合格的 AI 数据侦探!
🤖 故事开场:小星的水果分类器闹笑话了
小乐给机器人小星看了十几张水果照片,小星很快学会了分辨苹果和橘子。可是第二天,小星竟把一颗绿色苹果认成了橘子!小乐检查数据才发现:训练时给小星看的苹果几乎全是红色的。小星挠挠头说:“原来我学到的只是颜色,不是水果真正的全部特点!”
📦 样本 Sample
一个具体的学习例子,如一张水果照片、一封邮件或一次传感器测量。
🏷️ 标签 Label
监督学习中希望模型预测的目标答案,如“苹果”或“橘子”。
🔎 特征 Feature
用于描述样本属性的信息,如颜色、重量、长度或图像像素。
🧹 数据质量
数据是否准确、完整、具有代表性,以及是否存在错误与偏差。
第一章:实验 01 · 数据卡片解剖室——一条训练数据由什么组成?
选择水果样本,观察它的特征(Feature)和标签(Label),再修改颜色特征看看变化。
注:真实图像分类模型往往直接从像素矩阵中提取深层视觉特征,不一定需要人工手动填写“颜色”文字表格。
第二章:实验 02 · 最近邻训练场——自己添加样本,看看分类结果怎样变
这里运行一个真实的 1-NN(最近邻)分类器:新水果会被归为“重量最接近的训练样本”所在的类别。
| 样本编号 | 特征:重量 | 标签:类别 | 操作 |
|---|
第三章:实验 03 · 错误标签侦探——把一个答案贴错,会发生什么?
下方训练集规则是:数字小于 5 标为“小”,大于等于 5 标为“大”。点击任意按钮可翻转标签制造错误!
👆 点击上方训练样本按钮故意贴错几个标签,再点击“测试 10 道新题”看看准确率怎样下降!
第四章:实验 04 · 数据偏差实验室——为什么只学红苹果,认不出绿苹果?
拖动滑块调整训练集中绿色苹果样本的占比,观察代表性不足如何影响不同群体的识别表现。
注:上方得分由教学公式生成,用于演示“训练集覆盖范围与代表性”概念。现实中模型表现还受样本质量、特征分布与训练方式综合影响。
第五章:实验 05 · 数据泄漏侦探——考试前偷看答案,分数还可信吗?
机器学习必须用未参与训练的独立测试集检验效果。比较下面两种考试方式的区别:
👆 选择测试方式并点击“开始模拟考试”。
如果测试集中混入了训练样本(或者同一物品在相同背景下连拍的近似照片同时放进了训练集和测试集),考试分数就会虚高,严重高估模型面对真实新环境时的泛化能力!
第六章:实验 06 · 数据清洗与质量诊断——发现重复、缺失和异常数据
扫描下方小型数据表,选择不同的清洗规则,观察重复记录、缺失值与异常值是如何被处理的。
| 编号 | 水果名称 | 重量 (g) | 诊断备注 |
|---|
第七章:一份数据怎样变成 AI 的学习材料?
串联从收集原始数据到独立测试评估的完整六步流程。
• 训练集(Training Set):用来让模型学习规律和参数;
• 验证集(Validation Set):用来挑选模型结构或调节超参数;
• 测试集(Test Set):留到最后独立检验模型在未见新数据上的泛化表现。
📌 今天记住这三句话:
① 样本是例子,特征用来描述例子,标签是监督学习希望预测的目标答案;
② 错误标签、重复记录、缺失值和缺乏代表性的偏差数据都会影响 AI 的学习效果;
③ 测试集必须保持独立,只有在未见过的新数据上表现好,模型才具备真正的泛化能力!
第八章:AI 数据侦探 · 6 题闯关挑战
完成下面 6 道单选题,赢取“AI 数据侦探”徽章!
第九章:毕业任务——设计一份公平可靠的校园 AI 数据集
假设你要训练一个“校园垃圾分类识别 AI”,请规划它的样本、标签、多场景覆盖、错误检查、测试划分与隐私保护方案!
• 样本与标签:拍摄获准采集的废纸、塑料瓶、易拉罐、果皮等物品照片,标签设为对应的垃圾分类类别。
• 代表性覆盖:涵盖晴天/阴天室内外不同光线、不同拍摄角度、干净与压扁破损状态,避免单一背景偏差。
• 质量核查与防泄漏:由两名同学交叉抽查标签;同一件物品连拍的近似照片绝不同时放进训练集和测试集;拍摄时避开所有人脸、姓名贴纸与班级个人隐私信息。
🏆 AI 入门第 19 讲 · 核心知识打卡台
🌱 数据探索学徒已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)