AI 入门第 22 讲:机器怎样做决定?决策树(Decision Tree)
从“如果……那么……”的二十个问题猜谜游戏开始,亲手训练一棵会给数据分类的决策树!通过 6 个可视化互动实验,一步步搞懂特征分裂、基尼不纯度(Gini)、信息增益、树深度与过拟合剪枝的核心秘密!
故事开场:小星要不要带雨伞?
认识决策树(Decision Tree)的三大组成部分:根节点、分支与叶节点。
🌱 根节点(Root)
最先问什么问题?例如“天空是否下雨?”
🌿 分支(Branch)
根据问题的不同答案走向不同的判断路线。
🍎 叶节点(Leaf)
走到判断终点,给出最终预测类别或数值。
实验 01 · 走进决策树:跟着问题走,看看预测路径
调整天气状态与降雨概率,观察样本如何从根节点一步步走到叶节点。
这棵树由人事先设定,用于理解树的结构;下面的实验才会让程序根据数据选择分裂。
实验 02 · 分裂数据:先问哪个问题,才能分得更清楚?
我们有 8 个带标签的水果样本。试着用“重量”或“颜色”来分开苹果和橙子,比较左右两组是否纯净。
| 样本 | 重量(g) | 颜色 | 真实标签 |
|---|
分裂之后,一组里如果几乎都是同一类别,就更容易做出判断。但不要忘记:训练数据分得好,不代表对新水果一定准确。
实验 03 · 信息增益探险:机器如何衡量“这个问题好不好”?
决策树常用信息增益或基尼不纯度下降评估分裂前后混乱程度的减少。
这里使用基尼不纯度(Gini):一组里类别越混杂,数值通常越高;越纯净,数值越低:
🔍 展开看看基尼不纯度怎样计算
如果一组中苹果占比例 p,橙子占比例 1−p,则 Gini = 1 − p² − (1−p)²。分裂后把各组 Gini 按样本数量加权平均,选择下降更多的分裂。另一种常见指标是信息熵,对应的下降通常称为信息增益;两种指标不应混为同一个公式。
实验 04 · 自动长出一棵树:让算法自己寻找分裂
真正运行的简化 CART 分类树:枚举候选阈值,选择基尼不纯度下降最大的分裂递归生成树。
使用的是本页内置的教学数据;模型通过真实的 Gini 计算选分裂,而不是播放预设的树形动画。
实验 05 · 训练成绩 vs 新题成绩:树越深,成绩一定越好吗?
使用带一点噪声的二维样本,比较不同最大深度的训练集和独立测试集准确率。
实验 06 · 决策树诊断师:遇到真实问题,应该怎么改进?
根据训练集与测试集的表现差异,为决策树开出科学的优化处方。
知识地图:决策树是怎样学习的?
准备带标签的数据 → 枚举可用问题 → 计算分裂质量 → 选择较优分裂 → 对子集重复 → 到叶节点作预测。
🔍 为什么决策树容易解释?
每条预测路径都可以列出一系列条件。但当树非常深、特征很多,或者使用随机森林等多树模型时,整体解释就不那么简单了。
📈 决策树只能分类吗?
不是。回归树也能预测连续数值,例如预测某个时间段的用电量。回归树通常使用与分类树不同的分裂评价指标,例如平方误差。
🌲 决策树和随机森林有什么关系?
随机森林组合多棵在不同随机样本和特征选择下训练的决策树,再综合它们的预测,通常能降低单棵树的方差,但也更难逐条解释。
知识闯关:6 道题,获得“决策树探索家”徽章
完成下面 6 道单选题,检验你对决策树分裂、基尼不纯度与过拟合的理解!
毕业任务:设计一棵“校园图书推荐树”
选择至少两个特征,设计三个以上的判断分支。思考:如果新同学与训练样本不同,系统会不会推荐错误?如何验证?
💡 参考思路:图书推荐决策树
先问“喜欢科普还是故事”;如果喜欢科普,再问“偏好自然还是太空”;如果喜欢故事,再问“喜欢冒险还是校园”。推荐结果只是起点,还要允许读者反馈,不能因为年龄或其他敏感特征就限制阅读选择。
🌟 今天记住三句话
① 决策树通过一连串条件把样本分组,最终在叶节点给出预测。
② 学习型决策树可以从数据中选择分裂,常用基尼不纯度或信息熵衡量分裂效果。
③ 树越深不一定越好;要用独立测试数据检查泛化能力。
🏆 AI 入门第 22 讲 · 核心知识打卡台
🌱 决策树观察员已掌握:0 / 5 个核心知识点(点击下方卡片点亮勋章)