
## 欠拟合与过拟合

神经网络的本质是在大量的数据中寻找不变的规律，或**模式**。对于学习模式，可以有两种方式：一是简单地让模型“记忆”给定的数据集，二是让模型通过数据集“理解”数据的分布特征。前者一般在离散的小数据集上表现较好，而后者在更大的数据集（尤其是训练数据远小于预测数据范围时）通常有更好的表现。

### 泛化误差与训练误差

如何去衡量这二者的优劣呢？我们给出**训练误差**（training error）和**泛化误差**（generalization error）。我们称模型在学习数据集中的数据后再进行预测的误差为训练误差，而在陌生数据集上（如真实数据应用）产生的误差为泛化误差。显然，我们希望泛化误差尽可能地小，来更好地适应实际应用。

而一个很现实的问题是，在模型训练阶段，我们通常只能获得训练误差，而很难获得准确的泛化误差。那是否可以简单地认为训练误差约等于泛化误差呢？在统计学中，格里文科–康特利定理指出：

> 当样本量趋于无穷大时，样本的经验分布函数几乎必然一致收敛到总体的真实分布函数。

也就是说，当训练数据集足够大时，训练误差几乎必然等于泛化误差。

定理考虑了训练数据和测试数据均符合**独立同分布假设**（i.i.d. assumption），即采样过程关于采样顺序并没有关联。在现实中，我们很难找到一个完美符合独立同分布假设的应用场景，甚至有些会严重违背这一假设。一个简单的例子是使用大学生的人脸图像训练针对老年人的人脸识别系统，这显然不符合上述假设，因为大学生与老年人有很大的差异。

即便假定数据符合独立同分布假设，解释泛化性也是一个极其困难的问题。实践上，我们希望在训练误差尽可能小的基础上，同时使泛化误差与训练误差的差较小。如果一个模型在训练中表现得过于完美，那么其泛化能力就会令人担忧，导致模型过拟合。

一个模型的泛化性很大程度上取决于模型复杂性。实践中，我们一般认为模型的复杂度与可调整参数的数量（或**自由度**）、参数的取值范围、训练数据的数量高度相关。当我们使用更简单的模型和大量的数据时，我们期望泛化误差和训练误差相近；而模型更复杂且样本更少时，尽管训练误差会毫无疑问地下降，泛化误差可能会增大。下图展示了模型复杂度对拟合程度的影响。

![capacity-vs-error](https://blog.samzhangjy.com/assets/posts/nn-optimize/capacity-vs-error.svg)

### 训练集、测试集与验证集

那什么样的模型是合适的呢？我们需要使用某种方法来衡量训练误差和泛化误差。我们可以通过模型在训练集上的表现来确定训练误差，而泛化误差的获得则要复杂些。直接使用测试集进行预测是不可取的：这会导致模型选择过程中不可避免地倾向于选择泛化程度高即测试集误差小的模型，进而导致测试集被过拟合。这一现象也称作测试集泄露。

一个常见的做法是采用独立于训练集和测试集之外的第三个数据集——**验证集**（validation set），通过获得模型在验证集上的表现来尽可能估算泛化误差。

实践中，可供我们使用的数据集通常是有限的，我们需要尽可能使用每一个样本进行训练。上述方法显然占用了过多的数据用于测试和验证，这压缩了训练集的数量。我们通常可以采用 K 折交叉验证的方式构成验证集。我们先将训练集分为 K 个不重叠的子集，然后进行 K 次模型训练与验证。每次训练中，我们对 K - 1 个子集构成新的训练集，对于剩余的 1 个子集则留为验证集，最后取 K 次实验的结果取平均值估计误差。

## 权重衰减

我们知道，扩大数据集规模可以提高模型的泛化能力，缓解过拟合问题。另一种有效的方式是采用**权重衰减**（weight decay）的方法来环节过拟合。前文提到，模型复杂度与参数的数量和取值范围相关。不难发现，单单调节模型参数数量带来的拟合情况可能过于粗糙，无法精细调节模型拟合程度。于是，我们可以考虑使用限制参数的取值范围来细粒度调节拟合程度。

为什么限制参数取值范围可以调整拟合程度呢？一个很简单的例子是线性回归：$\hat{\mathbf{y}} = \mathbf{Wx} + \mathbf{b}$ ，当权重 $\mathbf{W}$ 很大时，输入值 $\mathbf{x}$ 一点点细微的改变就会导致预测值 $\hat{\mathbf{y}}$ 发生极大的改变，而实际情况可能是更为平滑的。所以，限制参数的取值范围可以一定程度上降低过拟合风险，提高泛化能力。

### 范数与正则化

我们希望限制模型的复杂性。从直觉上来讲，我们模型拟合出的函数 $f$ 越接近函数 $f = 0$ 时，模型越简单。那么我们的任务也就是衡量模型与 $f = 0$ 之间的距离。这与模型参数的范数密切相关，此处简单介绍一下线性代数中范数与正则化相关概念。

形象地说，**范数**（norm）表示一个向量的分量的大小。这不难联系到平面几何中欧几里得距离的概念。事实上，欧几里得距离是一个 $L_2$ 范数，表示为：

$$
\|\mathbf{x}\|_2 = \sqrt{\sum_{i=1}^n x_i^2},
$$

即向量元素平方和的平方根。同时我们也有 $L_1$ 范数，表示为向量元素的绝对值之和：

$$
\|\mathbf{x}\|_1 = \sum_{i=1}^n \left|x_i \right|.
$$

更一般地，我们有 $L_p$ 范数：

$$
\|\mathbf{x}\|_p = \left(\sum_{i=1}^n \left|x_i \right|^p \right)^{1/p}.
$$

深度学习中，以 $L_1$ 范数和 $L_2$ 范数最为常用，分别对应 $L_1$ 正则化和 $L_2$ 正则化。

所谓**正则化**（regularization），即对原始损失函数引入额外信息，防止过拟合和提高模型泛化能力的一类方法。可以认为，正则化在原始损失函数 $L_0$ 的基础上增加了关于参数的惩罚项，即 $L = L_0 + l$ 。

### $L_2$ 正则化

而权重衰减属于正则化技术的一种，也称为 **$L_2$ 正则化** 。对于线性回归中的均方误差损失，我们的初始损失表达为：

$$
L(\mathbf{w}, b) = \frac{1}{n}\sum_{i=1}^n \frac{1}{2}\left(\mathbf{w}^\top \mathbf{x}^{(i)} + b - y^{(i)}\right)^2.
$$

按照正则化的概念，我们应该在原始损失函数的基础上添加正则化项，使得模型的训练目标由“最小化预测与实际值之间的差异”转变为“在最小化预测与实际值之间的差异的基础上，尽可能使模型简单”。那么我们的新损失函数就是：

$$
L(\mathbf{w}, b) + \frac{\lambda}{2} \|\mathbf{w}\|^2_2,
$$

其中 $\lambda$ 是可以调节的超参数。实践上一般取 $\lambda = 0$ ，寻找最优学习率，而后在最优学习率固定的情况下从 $\lambda = 1$ 开始以 10 倍为标准放大/缩小 $\lambda$ ，找到合适的数量级，而后进行微调确定最终的 $\lambda$ 。

从上式可以看出，$L_2$ 正则化对过大的参数施加了巨大的惩罚，导致模型倾向于更小的参数，来避免过拟合。而 $L_1$ 正则化可以使参数稀疏化，只保留对模型由重要作用的特征，用于特征选择。

## Dropout

深层神经网络对比线性网络一个重要的不同是隐藏层的存在，这使得模型可以考虑不同特征之间的关联。一个好的预测模型，正如上文所述，应该是简单的，且在未知数据上有较好的表现。$L_2$ 正则化考虑了模型参数大小的简单性，而 **Dropout**（暂退法）则关注模型的平滑性，即一些噪声不应该对整体预测结果产生较大的影响。

那么，为了增强网络对抗噪声的能力，我们可以考虑手动在网络中加入一定噪声。这种方法就是 Dropout 法。Dropout 在前向传播中，对每一层加入噪声。标准的 dropout 会在训练中将某些神经元的活性值置为 $0$ ，即丢弃某些神经元，进而从某些程度上降低网络对于其他神经元的高度依赖，迫使网络学习更有泛化性的特征。

在标准 dropout 中，我们有：
$$
\begin{split}\begin{aligned}
h' =
\begin{cases}
    0 & \text{ 概率为 } p \\
    \frac{h}{1-p} & \text{ 其他情况}
\end{cases}
\end{aligned}\end{split}
$$
其中，$\frac{h}{1-p}$ 是对参数大小的缩放，确保了模型在后续测试时的参数值仍然有效。

实际应用中，我们可以将 dropout 应用到多层感知机中，降低模型过拟合。下图是一个例子。

![dropout](https://blog.samzhangjy.com/assets/posts/nn-optimize/dropout.svg)

具体地说，我们在训练过程中，对于每一次 epoch ，都重新生成一个 dropout 神经元的集合，从而变相地在训练过程中同时训练了多个神经网络。从某种意义上说，dropout 也是在使用多次求值取平均的思想来降低过拟合。

一般来讲，dropout 只在训练时使用，测试时不采用 dropout 。


浅谈模型优化


## 隐藏层

简单的单层网络（如前文提到的线性回归）对比真正的深层神经网络有一个很大的不同：前者只能拟合出输入值和输出值之间的**线性**关系，而后者可以拟合逼近出任意的复杂函数关系。这其中的差别在于层数不同，也就是**隐藏层**（hidden layer）的存在与否。

在线性回归中，我们通过单个仿射变换 $\mathbf{Y} = \mathbf{Wx} + \mathbf{b}$ 进行模型预测，由输入直接映射到输出。假设我们的目标关系是线性相关的（如之前学习时间和成绩的例子的假设），那么线性回归的确可以很好地处理这些问题。但是大部分的函数关系并不是线性的，例如拟合一个目标函数 $y = x^2 + 2x$ ，线性回归无法通过线性变换对其进行很好的拟合，损失始终会很大。

于是我们考虑在网络中加入一个或多个隐藏层来克服线性模型的限制。一个很朴素的方法是简单堆叠多个全连接层，最后一个隐藏层与输出层相连，这就构成了**多层感知机**（multilayer perceptron）。如下图就是一个有一层隐藏层的多层感知机的模式图。

![mlp](https://blog.samzhangjy.com/assets/posts/mlp/mlp.svg)

我们来看一下多层感知机的计算过程。假定有样本 $\mathbf{X}$ ，**隐藏表示** $\mathbf{H}$ 即隐藏层的输出为单隐藏层的输出，隐藏层权重为 $\mathbf{W}^{(1)}$ ，偏置 $\mathbf{b}^{(1)}$ ，输出层权重 $\mathbf{W}^{(2)}$ ，偏置 $\mathbf{b}^{(2)}$ ，多层感知机输出为 $\mathbf{O}$  ，则：

$$
\mathbf{H} = \mathbf{W}^{(1)}\mathbf{X} + \mathbf{b}^{(1)},\\
\mathbf{O} = \mathbf{W}^{(2)}\mathbf{H} + \mathbf{b}^{(2)}.
$$

但是不难发现，上述表达并没有对网络的既定线性关系做出本质的改变。上述网络仍可以等价于一个单层线性网络 $\mathbf{O} = \mathbf{W}^{(1)}\mathbf{W}^{(2)}\mathbf{X} + \mathbf{b}^{(1)}\mathbf{W}^{(2)} + \mathbf{b}^{(2)}$ 。这就需要我们引入一个新的机制：**激活函数**（activation function）$\sigma$ 。其输出被称为**活性值**（activations）。那么上述的多层感知机网络变化为：

$$
\begin{aligned}
\mathbf{H} &= \sigma(\mathbf{W}^{(1)}\mathbf{X} + \mathbf{b}^{(1)}),\\
\mathbf{O} &= \mathbf{W}^{(2)}\mathbf{H} + \mathbf{b}^{(2)}.
\end{aligned}
$$

一般来讲，隐藏层经过激活函数的变换后，网络就不会退化为线性网络。当然，上述隐藏层也可以进行堆叠，增强模型的表达能力。

## 激活函数

那么使得网络具有非线性特征的激活函数是什么呢？

激活函数的本质是通过计算加权和并加上偏置确定神经元是否应该被激活，大多数都是非线性的。事实上，线性神经网络中也存在线性激活函数 $\sigma(x) = x$ 。激活函数的存在是深度学习网络能够学习复杂特征的基础。

### sigmoid 函数

对于任意 $x \in \mathbb{R}$ ，sigmoid 函数可以将其值压缩到 $(0, 1)$ 区间内。其定义为：

$$
\operatorname{sigmoid}(x) = \frac{1}{1 + \exp(-x)}.
$$

可以发现其与 softmax 函数（$\operatorname{softmax}(x) = \frac{\exp(o_j)}{\sum_k\exp(o_k)}$）具有相似的运算性质。事实上，sigmoid 函数可以看作 softmax 函数的特例，在二分类问题上可以与 softmax 函数进行等价。

![sigmoid](https://blog.samzhangjy.com/assets/posts/mlp/sigmoid.svg)

![sigmoid-grad](https://blog.samzhangjy.com/assets/posts/mlp/sigmoid-grad.svg)

上图是 sigmoid 函数和其导数的图像。可以发现，其在 $x$ 接近 $0$ 时表现接近线性变换，此时具有较好的激活性；而在正负饱和区（$|x|$ 较大时）梯度接近 $0$ 。这一缺陷将会导致训练中出现梯度消失，减缓模型的收敛速度。

### tanh 函数

与 sigmoid 函数类似，tanh （双曲正切）函数也可以将 $x$ 压缩到有限区间 $(-1, 1)$ 上，其定义为：

$$
\operatorname{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)}.
$$

![tanh](https://blog.samzhangjy.com/assets/posts/mlp/tanh.svg)

![tanh-grad](https://blog.samzhangjy.com/assets/posts/mlp/tanh-grad.svg)

tanh 函数和其导数的图像如上图所示。其性质大体与 sigmoid 函数类似，但图像关于原点对称。这在前馈网络中是一个较好的性质，保证了信息在层间传递时均值为 $0$ ，使得模型训练收敛更快。

但同样地，tanh 函数也具有和 sigmoid 函数一样的梯度消失问题，在实践中很少使用。sigmoid 系激活函数的部分应用场景是循环神经网络。

### ReLU 函数

最受欢迎的激活函数是 **修正线性单元** （Rectified Linear Unit, ReLU）。其实现简单，且在多种预测任务中表现良好。其定义如下：

$$
\operatorname{ReLU}(x) = \max(x, 0).
$$

形象地来讲，ReLU 的作用在于屏蔽了 $x < 0$ 部分的输入，即单侧抑制。其函数和导数图像如图所示。

![ReLU](https://blog.samzhangjy.com/assets/posts/mlp/relu.svg)

![ReLU-grad](https://blog.samzhangjy.com/assets/posts/mlp/relu-grad.svg)

下面简单探讨一下为什么 ReLU 具有比较优秀的性能。

可以发现，ReLU 函数在负半区的导数为 0 ，导致神经元不被激活。这将会使得网络具有稀疏性，提高了网络的计算效率。稀疏性的出现使得神经元只对输入信号的少部分选择性响应，其余的信号被刻意屏蔽了。这样可以提高学习精度，提高特征的鲁棒性，降低模型的过拟合风险。

同时，ReLU 并没有 sigmoid 系函数的正负饱和区，其梯度始终是 1 ，属于单端饱和，有效减轻了训练中的梯度消失问题。


浅谈多层感知机


## 分类问题

回归可以用于预测**多少**的问题，如房价、住院天数；分类模型则可以用于判断某一目标是否属于某一**类别**。对于分类问题，我们又有*硬性*和*软性*分类，前者只希望得到目标的类别，后者则还需要目标属于每个类别的概率大小。实践中，即便对于硬分类问题，我们也采用软分类算法解决。

假设我们有一个图像分类问题，输入为 $2 \times 2$ 的灰度图像，类别可能是猫、狗、鸡中的一个。

那么，我们的输入特征就是像素值 $\mathbf{x} = x_1, x_2, x_3, x_4$ 。而对于类别的表示，我们采用**独热编码**（one-hot encoding）的方式：独热编码是一个和类别数目分量一致的向量，某一类别的独热编码表示为该类别对应分量为 $1$ ，其余分量为 $0$ 。在上述例子中，我们可以假定向量 $(1, 0, 0)$ 表示猫，$(0, 1, 0)$ 表示狗，$(0, 0, 1)$ 表示鸡。那么我们的标签 $y \in {(1, 0, 0), (0, 1, 0), (0, 0, 1)}$ 。

## softmax 回归

与前文中线性回归模型不同，分类问题需要模型有多个输出来对应每个类别。为此，我们需要和类别数量一样多的**仿射函数**（affine function），即通过线性变换和平移变换后得到的函数。例如，我们需要 $12$ 个标量来表示上例中的权重：

$$
o_1 = x_1w_{1,1} + x_2w_{1, 2} + x_3w_{1, 3} + x_4w_{1, 4} + b_1\\
o_2 = x_1w_{2,1} + x_2w_{2, 2} + x_3w_{2, 3} + x_4w_{2, 4} + b_2\\
o_3 = x_1w_{3,1} + x_2w_{3, 2} + x_3w_{3, 3} + x_4w_{3, 4} + b_3\\
$$


![](https://blog.samzhangjy.com/assets/posts/softmax-regression/softmax-nn.svg)

形式化地，softmax 回归的模型可以表达为 $\mathbf{o} = \mathbf{Wx} + \mathbf{b}$ 。如上图所示，softmax 回归是一个单层的全连接的神经网络。这样的全连接层虽然性能开销较大，但便于理解。

根据前文中对于分类问题的一般定义，我们知道，分类模型的输出需要是检测目标属于每个类别的概率大小。那么对于硬分类问题我们可以选择最大输出值的类别 $\arg\max_i\hat{y}_i$ 作为预测，对于软分类问题直接给出 $\hat{y}$ 即可。

考虑输出 $o_i$ ，其值可以根据输入特征和权重的变换在整个 $\R$ 上变化，这显然违背了基本的概率公理。进一步地，我们需要使整个输出的加和等于 $1$ ，即 $\sum_{i=1}^{n}o_{i} = 1$ 。为此，我们需要一个方法来标准化模型输出。这一操作可以通过 **softmax 函数** 来实现。softmax 函数可以将未规范化的预测变换为非负数且总和为 $1$ ，同时保持模型可导的性质。这一绝佳的函数性质十分适合作为分类问题的目标函数：

$$
\hat{\mathbf{y}} = \text{softmax}(\mathbf{o})
$$

其中

$$
\hat{y}_j = \frac{\exp(o_j)}{\sum_k\exp(o_k)}.
$$
因此，$\hat{\mathbf{y}}$ 可以视作一个正确的概率分布。尽管不难看出，softmax 函数并非一个线性函数，但 softmax 回归的输出仍然由输入特征的仿射变换决定，因此仍是一个线性模型。

## 损失函数

我们需要一个确定模型拟合程度好坏的度量，该度量被称作**损失函数**（loss function），能够量化目标的实际值与预测值之间的差距。损失通常是非负的，且数值越小代表损失越小。

### 平方损失函数

对于回归问题，最常用的损失函数为**平方损失函数（Square Error Function）**：

$$
l^{(i)}(\mathbf{w}, b) = \frac{1}{2}(\hat{y}^{(i)} - {y}^{(i)})^2.
$$

常数 $\frac{1}{2}$ 的意义在于使 $l$ 的导数常数系数为 1 。对于整个数据集，我们有：

$$
L(\mathbf{w}, b) = \frac{1}{n} \sum^n_{i = 1}l^{(i)}(\mathbf{w}, b) = \frac{1}{n}\sum^{n}_{i = 1}\frac{1}{2}(\mathbf{w}^{\top}\mathbf{x}^{(i)} + b - y^{(i)})^2 .
$$

我们训练模型的过程即寻找一组参数 $\mathbf{w}^*,b^*$ ，使得 $L(\mathbf{w}^*,b^*)$ 最小。那么如何求得这一组最优参数呢？

### 随机梯度下降

**梯度下降**（gradient descent）是一种通过不断地在损失函数递减的方向上更新参数来降低误差的方法，广泛应用于各类深度学习模型上。这其中，梯度即代表损失函数关于模型参数的导数。

为了避免在每一次更新时遍历一遍数据集，我们通常会在每次需要更新的时候随机抽取一小批样本，即**小批量随机梯度下降（minibatch stochastic gradient descent）**。

在每次迭代时，我们首先随机抽样一个容量固定的小批量 $\mathcal{B}$ ，并计算小批量的平均损失关于模型参数的偏导数。最后，我们将梯度乘以一个预先确定的正数 $\eta$（**学习率，learning rate**），并从当前参数的值中减掉。

形式化地，对于每次迭代，我们有：

$$
(\mathbf{w}, b) \larr (\mathbf{w}, b) - \frac{\eta}{\vert\mathcal{B}\vert} \sum_{i \in \mathcal{B}}\partial_{(\mathbf{w}, b)}l^{(i)}(\mathbf{w}, b) .
$$

其中

$$
\partial_{(\mathbf{w}, b)}l^{(i)}(\mathbf{w}, b) = \left(\frac{\partial l^{(i)}}{\partial \mathbf{w}}, \frac{\partial l^{(i)}}{\partial b}\right)
$$

对于类似 $\eta$ 和 $\vert\mathcal{B}\vert$ （**批次大小，batch size**） 的可以调整但是不在训练过程中的参数我们成为**超参数（hyperparameter）**。**调参（hyperparameter tuning）** 即选择超参数的过程。

需要注意的是，即便函数完全遵循线性回归且无噪声，模型参数 $\hat{\mathbf{w}}$ ，$\hat{b}$ 也不会达到实际最小值，而是无限接近最小值。对于较为复杂的深度神经网络，损失平面通常包含多个最小值。实践上一般不会追求训练集上的最小损失，而是追求能在陌生数据上实现较小损失。这一过程即**泛化（generalization）**。

### 交叉熵损失函数

让我们回到 softmax 回归。

softmax 函数让模型输出标准化为概率，如 $\hat{y}_1 = P(y = 猫 \mid \mathbf{x})$ 。假设数据集 $\{\mathbf{X}, \mathbf{Y}\}$ 有 $n$ 个样本，其中特征向量为 $\mathbf{x}^{(i)}$ ，独热标签向量（ground truth）为 $\mathbf{y}^{(i)}$ 。那么我们有：

$$
P(\mathbf{Y} \mid \mathbf{X}) = \prod^n_{i = 1}P(\mathbf{y}^{(i)}\mid \mathbf{x}^{(i)}).
$$

我们称上式为整个数据集的**似然**（likelihood），其中 $P(A \mid B)$ 表示 A 在 B 发生的条件下发生的概率。

#### 似然

让我们先回顾一下模型的本质。

在概率模型里，我们认为数据是从某个分布里“采样”来的。也就是说，世界上所有猫的照片，都是从某个潜在分布 $P_{真实}(x)$ 中抽取的样本。所谓分布，即决定随机变量可能出现的“规律”，它告诉我们每个可能结果出现的概率有多大。我们显然只能获得从真实分布中抽取到的有限大小的样本，而我们希望模型从这些有限大小的样本中尽可能拟合出真实的分布。

似然，即当模型参数一定时，观察到数据的“可能性”大小。具体地，假设我们有一个参数为 $\theta$ 的模型，其有一个概率分布 $P(x \mid \theta)$ 。我们又有一组真实数据 $x_{\text{obs}}$ ，那么似然函数 $L(\theta) = P(x_{\text{obs}} \mid \theta)$ ，即在参数为 $\theta$ 时我们有多可能观测到 $x_{\text{obs}}$ 这一数据。相对于概率计算的是参数固定的情况下不同数据有多可能出现，似然计算的是数据固定的前提下，不同参数时的分布下这个数据有多可能出现。

我们通常要找让似然最大的参数，其根本原因在于我们试图找到一个概率分布 $P(x \mid \theta)$ ，使得这一分布尽可能接近真实世界中的概率分布。我们的计算也就是在求 $\hat{\theta}_{\text{MLE}} = \arg\max_{\theta}L(\theta)$ ，其中 $L(\theta)$ 为似然函数。

回到交叉熵损失中，根据最大似然估计，我们最大化 $P(\mathbf{Y} \mid \mathbf{X})$ ，相当于最小化负对数似然：

$$
-\log P(\mathbf{Y} \mid \mathbf{X}) = \sum_{i = 1}^n -\log P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}) = \sum_{i = 1}^n l(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)}).
$$

即损失函数为

$$
l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j.
$$

我们称 $l$ 为**交叉熵损失函数**（cross-entropy loss function）。至于最小化负对数似然的原因，其一是由于对数运算的性质 $\log ab = \log a + \log b$ 更便于梯度计算且对数函数单调递增，二是取负号方便进行最小化，满足损失函数最小时损失最小的性质，三是对数自然对应了信息量。

#### 信息量

信息论中，我们称能量化数据中信息内容的量为分布 $P$ 的**熵**（entropy）：

$$
H[P] = \sum_j - P(j) \log P(j).
$$

上式中，$P(j)$ 为事件 $j$ 发生的概率，$\log \frac{1}{P(j)} = -\log P(j)$ 为事件 $j$ 的信息量（越不可能发生信息量的值越大）。直观地来讲，如果一件事经常发生，我们不会对它感到惊异，信息量就小；反之，如果一件事很少发生，我们会对其感到惊异，信息量就大。熵 $H[P]$ 也就是通过把每件事发生的概率加权，求出所有可能事件的平均信息量。

那什么是交叉熵呢？我们记交叉熵为 $H(P, Q)$ ，描述一个主观概率为 $Q$ 的观察者在看到根据概率 $P$ 生成的数据时的预期差异。当 $P = Q$ 时，交叉熵达到最低，即 $H(P, P) = H(P)$ 。

回归到交叉熵损失函数中，如果对于某一组数据，真实类别是第 $k$ 类，那么 $y_k = 1$ ，其他全为 $0$ 。损失化简为 $l^{(i)} = -\log \hat{y}_k$ 。 $\hat{y}_k < 0$ ，则 $l^{(i)} > 0$ ，且 $\hat{y}_k$ 越接近 $1$ ，$l^{(i)}$ 越小。也就是说，模型越相信正确类别（$\hat{y}_k$越大），损失越小；反之损失越大。从信息论的角度来讲，交叉熵损失函数实际上是在计算模型输出的概率分布距离真实分布的不匹配度，衡量了预测分布与真实分布之间的差距。 



浅谈 softmax 回归


## 线性回归

**回归（regression）** 即通过建模某个或多个自变量与因变量之间关系，预测某一数值的问题。回归问题预测的数值是连续的；分类则是预测离散数值。

线性回归则是假设自变量 $\mathbf{x}$ 与因变量 $y$ 之间具有线性关系，且观测数据噪声遵循正态分布。一般地，我们把试图预测的目标成为**标签（label）**或**目标（target）**，预测所依据的自变量（数据）称为**特征（feature）**或**协变量（covariate）**。一般使用 $n$ 表示数据集样本容量，对于索引为 $i$ 的样本，其输入表示为 $\mathbf{x}^{(i)} = [x_1^{(i)},x_2^{(i)}, \cdots]^{\top}$ ，对应标签为 $y^{(i)}$ 。

### 线性模型

首先，给出线性模型的一般定义式：
$$
\hat{y} = \mathbf{w}^{\top}\mathbf{x} + b.
$$
其中 $\mathbf{w}$ 表示模型**权重（weight）**，$b$ 表示**偏置（bias）**，$\mathbf{x}$ 表示单个数据样本的特征。对于特征矩阵 $\mathbf{X} \in \R^{n \times d}$ ，我们同样有：
$$
\hat{\mathbf{y}} = \mathbf{Xw} + b.
$$
线性模型中，偏置项的意义在于提升模型的表达能力，其物理意义即为当所有特征取值都为 0 时，预测值应该为多少。上述二式即代表对于输入特征的**仿射变换（affine transformation）**，即通过加权对特征进行**线性变换（linear transformation）**，并通过偏置项进行**平移（translation）**。

> 矩阵乘法即对于张空间内的向量进行变换。

我们的任务就是对于给定的特征数据集，找到一组最优的 $\mathbf{w}, b$ 来拟合给定的标签，即寻找最优模型参数。

### 损失函数

**损失函数（loss function）**能够量化目标的实际值与预测值之间的差距。通常我们有损失 $\geq 0$ ，且数值越小损失越小，完美预测时损失为 0 。回归问题中最常用的损失函数为**平方损失函数（Square Error Function）**：
$$
l^{(i)}(\mathbf{w}, b) = \frac{1}{2}(\hat{y}^{(i)} - {y}^{(i)})^2.
$$
常数 $\frac{1}{2}$ 的意义在于使 $l$ 的导数常数系数为 1 。对于整个数据集，我们有：
$$
L(\mathbf{w}, b) = \frac{1}{n} \sum^n_{i = 1}l^{(i)}(\mathbf{w}, b) = \frac{1}{n}\sum^{n}_{i = 1}\frac{1}{2}(\mathbf{w}^{\top}\mathbf{x}^{(i)} + b - y^{(i)})^2 .
$$

### 随机梯度下降

尽管对于线性回归，我们可以通过最小化 $\Vert\mathbf{y} - \mathbf{Xw}\Vert^2$ 求出其解析解 $\mathbf{w}^* = (\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}$ ，但在大部分深度学习模型中，我们无法简单通过解析解来获得最优参数。**梯度下降（gradient descent）**正是一中可以通过不断地在损失函数递减的方向上更新参数来降低误差的方法。

梯度下降的一般定义即是在迭代时计算损失函数均值关于模型参数的偏导数（通过链式法则，也称梯度），但效率极低。为了避免在每一次更新时遍历一遍数据集，我们通常会在每次需要更新的时候随机抽取一小批样本，即**小批量随机梯度下降（minibatch stochastic gradient descent）**。

在每次迭代时，我们首先随机抽样一个容量固定的小批量 $\mathcal{B}$ ，并计算小批量的平均损失关于模型参数的偏导数。最后，我们将梯度乘以一个预先确定的正数 $\eta$（**学习率，learning rate**），并从当前参数的值中减掉。

形式化地，对于每次迭代，我们有：
$$
(\mathbf{w}, b) \larr (\mathbf{w}, b) - \frac{\eta}{\vert\mathcal{B}\vert} \sum_{i \in \mathcal{B}}\partial_{(\mathbf{w}, b)}l^{(i)}(\mathbf{w}, b) .
$$
对于类似 $\eta$ 和 $\vert\mathcal{B}\vert$ （**批次大小，batch size**） 的可以调整但是不在训练过程中的参数我们成为**超参数（hyperparameter）**。**调参（hyperparameter tuning）**即选择超参数的过程。

需要注意的是，即便函数完全遵循线性回归且无噪声，模型参数 $\hat{\mathbf{w}}$ ，$\hat{b}$ 也不会达到实际最小值，而是无限接近最小值。对于较为复杂的深度神经网络，损失平面通常包含多个最小值。实践上一般不会追求训练集上的最小损失，而是追求能在陌生数据上实现较小损失。这一过程即**泛化（generalization）**。

### 噪声与正态分布

若随机变量 $x$ 具有均值 $\mu$ 和方差 $\sigma^2$ ，其正态分布概率密度函数如下：
$$
p(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{1}{2\sigma^2}(x - \mu)^2) .
$$
改变均值会产生沿 $x$ 轴的偏移，增加方差会分散分布、降低峰值。

而均方误差损失函数可以用于线性回归的原因之一是我们假设了观测中包含噪声，而噪声服从正态分布：
$$
y = \mathbf{w}^{\top}\mathbf{x} + b + \epsilon.
$$
通过给定的 $\mathbf{x}$ 观测到特定 $y$ 的**似然（likelihood）**为：
$$
p(y \mid \mathbf{x}) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{1}{2\sigma^2}(y - \mathbf{w}^{\top}\mathbf{x} - b)^2) .
$$
对于整个数据集的似然，即为：
$$
P(\mathbf{y} \mid \mathbf{X}) = \prod^n_{i = 1}p(y^{(i)}\mid \mathbf{x}^{(i)}) .
$$
通过最小化负对数似然，得：
$$
-\log P(\mathbf{y} \mid \mathbf{X}) = \sum^n_{i = 1}\frac{1}{2}\log(2\pi\sigma^2) + \frac{1}{2\sigma^2}(y^{(i)} - \mathbf{w}^{\top}\mathbf{x}^{(i)} - b)^2 .
$$
剔除式中常数项，该式即等价于最小化均方误差。

标签深度学习

标签为深度学习的文章

浅谈模型优化

浅谈多层感知机

浅谈 softmax 回归

浅谈线性回归

Sam Zhang.

标签 深度学习

标签为 深度学习 的文章

浅谈模型优化

浅谈多层感知机

浅谈 softmax 回归

浅谈线性回归

Sam Zhang.

标签深度学习

标签为深度学习的文章