过拟合与正则化

过拟合

太简单了懒得记了

正则化

为了应对过拟合的情况，我们需要使用比较少的参数，或者让参数的权重尽可能小。

换句话说，我们可以在代价函数上做手脚，使得参数的绝对值越大时，惩罚越高

L1正则：
$$
\lambda\sum_{i=1}^n|\theta_i|
$$
但是虽然舍弃了样本，L1的使用让偏差变大了，这时候我们请出了L2正则：
$$
\lambda\sum_{i=1}^n\theta^2_i
$$
λ就是我们的正则系数，越大的系数，越不容易过拟合（同时也容易欠拟合）

正则化的线性回归

$$
\begin{align*} & \text{Repeat}\ \lbrace \newline
& \ \ \ \ \theta_0 := \theta_0 - \alpha\ \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_0^{(i)} \newline & \ \ \ \ \theta_j := \theta_j - \alpha\ \left[ \left( \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) + \frac{\lambda}{m}\theta_j \right] &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2…n\rbrace\newline & \rbrace \end{align*}
$$

正则化的逻辑斯蒂回归

$$
\begin{align*} & \text{Repeat}\ \lbrace \newline
& \ \ \ \ \theta_0 := \theta_0 - \alpha\ \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_0^{(i)} \newline & \ \ \ \ \theta_j := \theta_j - \alpha\ \left[ \left( \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) + \frac{\lambda}{m}\theta_j \right] &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2…n\rbrace\newline & \rbrace \end{align*}
$$