d2l:线性回归

线性回归

1.一个简化模型

• 假设 1: 多因素同时存在时相互独立且对结果有正向影响,且每个因素,如 $x_1, x_2, x_3$

• 假设 2: 成交价格是关于这些因素的加权和

$$y = w_1x_1 + w_2x_2 + w_3x_3 + b$$

权重和偏差的实际值在后面决定

2.线性模型

• 给定 n 维输入 $\mathbf{x} = [x_1, x_2, \dots, x_n]^T$

• 线性模型又一个n维权重和一个标量化偏差

$$\mathbf{w} = [w_1, w_2, \dots, w_n]^T, \quad b$$

• 预测目标值的加权和

$$y = w_1x_1 + w_2x_2 + \dots + w_nx_n + b$$

• 向量形式:

$$y = \langle \mathbf{w}, \mathbf{x} \rangle + b$$

3.神经网络源于神经科学

4.衡量预估质量

• 比较真实值和我们的预测值，例如真实房价和预测房价
• 假设 $y$ 是真实值，$\hat{y}$ 是估计值，我们可以通过损失

  $$\mathcal{L}(y, \hat{y}) = \frac{1}{2} (y - \hat{y})^2$$

这个叫做平方损失函数

5.训练数据集

• 收集一些数据来决定参数值，例如过去6个月卖出的房子
• 训练数据
• 通常越多越好

假设我们有 $n$ 个样本，记

$$\mathbf{X} = [x_1, x_2, \dots, x_n]^T$$

$$\mathbf{Y} = [y_1, y_2, \dots, y_n]^T$$

6.参数学习

• 训练损失定义

  $$\mathcal{L}(\mathbf{X}, \mathbf{y}, \mathbf{w}, b) = \frac{1}{2n} \sum_{i=1}^{n} (y_i - \langle \mathbf{x}_i, \mathbf{w} \rangle - b)^2 = \frac{1}{2n} \| \mathbf{y} - \mathbf{Xw} - b \|^2$$

• 最小化损失来学习参数

  $$\mathbf{w}^*, b^* = \arg \min_{\mathbf{w}, b} \mathcal{L}(\mathbf{X}, \mathbf{y}, \mathbf{w}, b)$$

7.显式解

• 将偏置项加入模型

  $$\mathbf{X} \gets [\mathbf{X}, \mathbf{1}] \quad \mathbf{w} \gets \begin{bmatrix} \mathbf{w} \\ b \end{bmatrix}$$

  $$\mathcal{L}(\mathbf{X}, \mathbf{y}, \mathbf{w}) = \frac{1}{2n} \| \mathbf{y} - \mathbf{Xw} \|^2$$

  $$\frac{\partial}{\partial \mathbf{w}} \mathcal{L}(\mathbf{X}, \mathbf{y}, \mathbf{w}) = -\frac{1}{n} (\mathbf{y} - \mathbf{Xw})^T \mathbf{X}$$

• 找最低点来求解，所以导数设置为0

  $$-\frac{1}{n} (\mathbf{y} - \mathbf{Xw})^T \mathbf{X} = 0$$

  $$\mathbf{w}^* = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}$$

总结

• 线性回归是对n维输入的加权，外加偏差
• 使用平方损失来衡量预测值和真实值的差异
• 线性回归有显式解
• 线性回归可以看作是单层神经网络