《机器学习》课程第三章知识点梳理

一、线性模型基础

1. 基本形式

1.1 线性回归模型

1.2 模型假设

1.3 参数解释

2. 线性回归

2.1 简单线性回归

2.1.1 模型表示

2.1.2 参数估计

2.1.3 最小二乘法

2.2 多元线性回归

2.2.1 模型表示

2.2.2 参数估计

2.2.3 矩阵表示

二、模型评估与优化

1. 损失函数

1.1 均方误差（MSE）

1.2 平均绝对误差（MAE）

2. 模型评估指标

2.1 R² 决定系数

2.2 调整R²

2.3 残差分析

3. 优化方法

3.1 梯度下降法

3.1.1 批量梯度下降

3.1.2 随机梯度下降

3.1.3 小批量梯度下降

3.2 正规方程法

三、正则化方法

1. 过拟合问题

1.1 过拟合现象

1.2 欠拟合现象

1.3 偏差-方差权衡

2. 正则化技术

2.1 L1正则化（LASSO）

2.1.1 原理

2.1.2 稀疏性

2.2 L2正则化（岭回归）

2.2.1 原理

2.2.2 参数收缩

2.3 Elastic Net

四、广义线性模型

1. 逻辑回归

1.1 模型原理

1.1.1 Sigmoid函数

1.1.2 决策边界

1.2 损失函数

1.2.1 交叉熵损失

1.2.2 最大似然估计

1.3 多分类扩展

1.3.1 One-vs-Rest

1.3.2 Softmax回归

2. 线性判别分析（LDA）

2.1 基本原理

2.2 类内散度矩阵

2.3 类间散度矩阵

五、模型诊断与改进

1. 假设检验

1.1 线性关系检验

1.2 残差正态性检验

1.3 同方差性检验

2. 特征工程

2.1 多项式特征

2.2 交互项

2.3 特征缩放

3. 异常值处理

3.1 识别方法

3.2 处理方法

六、实践应用

1. 数据预处理

1.1 缺失值处理

1.2 特征编码

1.3 数据标准化

2. 模型实现

2.1 Scikit-learn实现

2.2 超参数调优

2.3 交叉验证

3. 模型解释

3.1 特征重要性

3.2 模型可视化