互动课堂 · PERSONAL CHALLENGE
不是背公式，而是亲手回答：为什么是平方？
先凭直觉做选择，再通过拟合、求导、投影、概率和离群点实验一步步验证。三个理由会在不同关卡里“自己出现”。
理由一｜计算平方损失 + 线性模型 → 凸二次问题 → 正规方程 / 解析解
理由二｜几何最小二乘 = 把真实向量正交投影到模型空间
理由三｜概率高斯噪声假设下，最小平方误差 = 最大似然
今天的主问题
J(w,b) = 1/m · Σ (wxᵢ + b − yᵢ)²
平方不是唯一选择。真正要理解的是：它为什么在计算、几何和概率三个方向同时“很自然”，以及它什么时候会失灵。
第 1 关｜开场投票：如果是你，会怎么惩罚误差？
先猜假设残差分别是 1、2、5。你希望“大误差”受到怎样的惩罚？先不要看后面的知识。
同一个误差，不同惩罚
|e|
2
e²
4
e⁴
16
今天不是证明“平方永远最好”，而是解释它为什么特别适合线性回归。
第 2 关｜先把“最好”变成一个数
残差 → Cost样本当前直线纵向残差
挑战：调 w、b，把 J 降到 1.20 以下。先调方向，再调上下位置。
RSS
J=MSE
R²
eᵢ = yᵢ − ŷᵢ RSS = Σeᵢ² J = RSS / m
第 3 关｜理由一：计算上，平方让问题“好解”
COMPUTATION1
线性模型把所有样本写成一个式子：ŷ = Xw2
平方损失J(w)=‖Xw−y‖²，是参数 w 的二次函数。3
求导为 0凸“碗”最低点满足 ∇J=0。4
正规方程XᵀXw = Xᵀy，直接变成解线性方程组。零基础版：先把平方展开，再求导
J(w) = (Xw − y)ᵀ(Xw − y)
= wᵀXᵀXw − wᵀXᵀy − yᵀXw + yᵀy
= wᵀXᵀXw − 2yᵀXw + yᵀy
= wᵀXᵀXw − 2yᵀXw + yᵀy
↓ 对 w 求导
∇J(w) = 2XᵀXw − 2Xᵀy = 2Xᵀ(Xw−y)
↓ 令梯度为 0
XᵀXw = Xᵀy
这就是正规方程。若 XᵀX 可逆，则 ŵ=(XᵀX)⁻¹Xᵀy。若不可逆，可用伪逆 / QR / SVD 等求解。
补一步：下面哪一项对 w 求导为 0？
为什么不是 |e| 或 e⁴？
|e|凸，但在 e=0 处不可导，没有 OLS 这样漂亮的正规方程。
e²光滑、凸、二次，线性模型下可直接得到正规方程。
e⁴也可导，但形成更高阶优化，而且极端放大大误差。
关键记忆平方不是“天选”，而是计算结构特别友好。
参数空间：平方损失形成“碗”
凸优化拖动参数：用按钮把白点推向红星。每一步都观察 J 是否下降。
w
b
J
普通线性最小二乘的目标函数是凸二次函数：不会有“更差的局部最低点”。若设计矩阵秩不足，可能出现多个等价的全局最优解。
第 4 关｜理由二：几何上，最小二乘就是正交投影
GEOMETRY真实向量 y候选预测 ŷ残差 e=y−ŷ
挑战：拖动滑块，让预测点 ŷ 沿模型空间移动，找到离 y 最近的位置。
距离 ‖e‖
夹角
投影误差
e = y − Xŵ
Xᵀe = 0
最低点时，残差与模型空间垂直。换句话说，残差里已经没有还能被 X 的特征方向解释的部分。
1
真实向量整批 y 可以看成高维空间中的一个点。2
模型空间 Col(X)所有 Xw 能产生的预测，构成一个子空间。3
最近点最小二乘在模型空间中找离 y 最近的 Xŵ。4
正交条件最近点连线垂直于模型空间，因此 Xᵀ(y−Xŵ)=0。漂亮之处：从几何出发，也会得到 XᵀXŵ=Xᵀy。它和“求导为 0”得到的是同一个正规方程。
第 5 关｜理由三：概率上，高斯噪声会导向平方误差
PROBABILITY观察：在高斯分布里，残差离 0 越远，出现概率越低。
p(e)
e²
−log p(e)
yᵢ = f(xᵢ;θ) + εᵢ ， εᵢ ~ N(0,σ²)
L(θ) = ∏ p(yᵢ | xᵢ, θ)
取 log：乘法 → 加法
−log L(θ) = 常数 + 1/(2σ²) · Σ eᵢ²
所以：当噪声方差 σ² 固定时，最大化似然 ⇔ 最小化平方误差。
小题：平方损失隐含的经典噪声模型更接近哪一种？
第 6 关｜平方的代价：离群点会被放大
OUTLIER LAB原始 OLS加入离群点后的 OLS可拖动离群点
拖动橙色点：让 OLS 斜率相对原始值改变超过 30%。
原始 w
当前 w
变化率
e=10 → |e|=10，e²=100，e⁴=10000
大误差一旦平方，单个异常点就可能压过很多正常样本的小误差。
平方不是唯一选择：损失函数其实是在表达“你怎么看误差”
L₂ 平方损失高斯噪声、没有明显离群点；平滑、可导、解析结构好。
L₁ 绝对值损失离群点较多、厚尾噪声时通常更鲁棒；经典 MLE 对应拉普拉斯噪声。
L₄ 四次损失极端强调大误差，一般不常用，很容易被异常值主导。
情景题：你的实验数据可能夹杂少量明显异常值，你最关心的是“不要被单个异常值带跑”。优先考虑？
第 7 关｜什么时候最小二乘特别合理？
ASSUMPTIONS点开每一项，把“数学假设”和“实践注意事项”分清楚。
✓ 近似线性条件均值趋势能被线性参数模型合理描述。
✓ 误差均值为 0更准确地说，希望 E[ε|X]=0，没有系统性偏高或偏低。
✓ 方差大致稳定Gauss–Markov 的经典同方差条件。
✓ 误差无明显相关经典模型通常要求误差之间不相关；时间序列要格外小心。
✓ X 满列秩避免完全多重共线性，使参数可唯一识别。
⚠ 极端离群点这不是 Gauss–Markov 的正式条件，但它会严重影响 OLS 的实际稳定性。
进阶一句话：在 Gauss–Markov 条件下，OLS 是 BLUE，即“最佳线性无偏估计”。这里不要求误差必须服从高斯分布。
判断场景：下面哪个情况最需要对普通 OLS 保持警惕？
注意：高斯分布到底什么时候需要？
拟合 OLS 本身不要求误差必须正态，最小化平方误差照样能做。
Gauss–Markov 的 BLUE也不要求正态性，重点是线性、零条件均值、同方差、无相关、满秩等条件。
极大似然 / 精确经典推断若进一步假设高斯噪声，OLS 与 MLE 对应，并可得到熟悉的精确 t/F 推断框架。
第 8 关｜最终 Boss：把三个理由串起来
FINAL你应该带走的不是公式，而是方法选择意识
等待通关
完成最终题后生成称号
计算平方 + 线性模型 → 凸二次问题 → 正规方程 / 解析解。
几何最小二乘 = 正交投影；残差与模型空间正交。
概率高斯噪声下，最大似然 ⇔ 最小平方误差。
代价平方放大离群点，损失函数要根据噪声结构选择。
下一节自然接上梯度下降：线性回归有时能直接算出碗底；复杂模型没有方便解析解时，就要学会“在看不见的山谷里一步一步下山”。