
## 分类问题

回归可以用于预测**多少**的问题，如房价、住院天数；分类模型则可以用于判断某一目标是否属于某一**类别**。对于分类问题，我们又有*硬性*和*软性*分类，前者只希望得到目标的类别，后者则还需要目标属于每个类别的概率大小。实践中，即便对于硬分类问题，我们也采用软分类算法解决。

假设我们有一个图像分类问题，输入为 $2 \times 2$ 的灰度图像，类别可能是猫、狗、鸡中的一个。

那么，我们的输入特征就是像素值 $\mathbf{x} = x_1, x_2, x_3, x_4$ 。而对于类别的表示，我们采用**独热编码**（one-hot encoding）的方式：独热编码是一个和类别数目分量一致的向量，某一类别的独热编码表示为该类别对应分量为 $1$ ，其余分量为 $0$ 。在上述例子中，我们可以假定向量 $(1, 0, 0)$ 表示猫，$(0, 1, 0)$ 表示狗，$(0, 0, 1)$ 表示鸡。那么我们的标签 $y \in {(1, 0, 0), (0, 1, 0), (0, 0, 1)}$ 。

## softmax 回归

与前文中线性回归模型不同，分类问题需要模型有多个输出来对应每个类别。为此，我们需要和类别数量一样多的**仿射函数**（affine function），即通过线性变换和平移变换后得到的函数。例如，我们需要 $12$ 个标量来表示上例中的权重：

$$
o_1 = x_1w_{1,1} + x_2w_{1, 2} + x_3w_{1, 3} + x_4w_{1, 4} + b_1\\
o_2 = x_1w_{2,1} + x_2w_{2, 2} + x_3w_{2, 3} + x_4w_{2, 4} + b_2\\
o_3 = x_1w_{3,1} + x_2w_{3, 2} + x_3w_{3, 3} + x_4w_{3, 4} + b_3\\
$$


![](https://blog.samzhangjy.com/assets/posts/softmax-regression/softmax-nn.svg)

形式化地，softmax 回归的模型可以表达为 $\mathbf{o} = \mathbf{Wx} + \mathbf{b}$ 。如上图所示，softmax 回归是一个单层的全连接的神经网络。这样的全连接层虽然性能开销较大，但便于理解。

根据前文中对于分类问题的一般定义，我们知道，分类模型的输出需要是检测目标属于每个类别的概率大小。那么对于硬分类问题我们可以选择最大输出值的类别 $\arg\max_i\hat{y}_i$ 作为预测，对于软分类问题直接给出 $\hat{y}$ 即可。

考虑输出 $o_i$ ，其值可以根据输入特征和权重的变换在整个 $\R$ 上变化，这显然违背了基本的概率公理。进一步地，我们需要使整个输出的加和等于 $1$ ，即 $\sum_{i=1}^{n}o_{i} = 1$ 。为此，我们需要一个方法来标准化模型输出。这一操作可以通过 **softmax 函数** 来实现。softmax 函数可以将未规范化的预测变换为非负数且总和为 $1$ ，同时保持模型可导的性质。这一绝佳的函数性质十分适合作为分类问题的目标函数：

$$
\hat{\mathbf{y}} = \text{softmax}(\mathbf{o})
$$

其中

$$
\hat{y}_j = \frac{\exp(o_j)}{\sum_k\exp(o_k)}.
$$
因此，$\hat{\mathbf{y}}$ 可以视作一个正确的概率分布。尽管不难看出，softmax 函数并非一个线性函数，但 softmax 回归的输出仍然由输入特征的仿射变换决定，因此仍是一个线性模型。

## 损失函数

我们需要一个确定模型拟合程度好坏的度量，该度量被称作**损失函数**（loss function），能够量化目标的实际值与预测值之间的差距。损失通常是非负的，且数值越小代表损失越小。

### 平方损失函数

对于回归问题，最常用的损失函数为**平方损失函数（Square Error Function）**：

$$
l^{(i)}(\mathbf{w}, b) = \frac{1}{2}(\hat{y}^{(i)} - {y}^{(i)})^2.
$$

常数 $\frac{1}{2}$ 的意义在于使 $l$ 的导数常数系数为 1 。对于整个数据集，我们有：

$$
L(\mathbf{w}, b) = \frac{1}{n} \sum^n_{i = 1}l^{(i)}(\mathbf{w}, b) = \frac{1}{n}\sum^{n}_{i = 1}\frac{1}{2}(\mathbf{w}^{\top}\mathbf{x}^{(i)} + b - y^{(i)})^2 .
$$

我们训练模型的过程即寻找一组参数 $\mathbf{w}^*,b^*$ ，使得 $L(\mathbf{w}^*,b^*)$ 最小。那么如何求得这一组最优参数呢？

### 随机梯度下降

**梯度下降**（gradient descent）是一种通过不断地在损失函数递减的方向上更新参数来降低误差的方法，广泛应用于各类深度学习模型上。这其中，梯度即代表损失函数关于模型参数的导数。

为了避免在每一次更新时遍历一遍数据集，我们通常会在每次需要更新的时候随机抽取一小批样本，即**小批量随机梯度下降（minibatch stochastic gradient descent）**。

在每次迭代时，我们首先随机抽样一个容量固定的小批量 $\mathcal{B}$ ，并计算小批量的平均损失关于模型参数的偏导数。最后，我们将梯度乘以一个预先确定的正数 $\eta$（**学习率，learning rate**），并从当前参数的值中减掉。

形式化地，对于每次迭代，我们有：

$$
(\mathbf{w}, b) \larr (\mathbf{w}, b) - \frac{\eta}{\vert\mathcal{B}\vert} \sum_{i \in \mathcal{B}}\partial_{(\mathbf{w}, b)}l^{(i)}(\mathbf{w}, b) .
$$

其中

$$
\partial_{(\mathbf{w}, b)}l^{(i)}(\mathbf{w}, b) = \left(\frac{\partial l^{(i)}}{\partial \mathbf{w}}, \frac{\partial l^{(i)}}{\partial b}\right)
$$

对于类似 $\eta$ 和 $\vert\mathcal{B}\vert$ （**批次大小，batch size**） 的可以调整但是不在训练过程中的参数我们成为**超参数（hyperparameter）**。**调参（hyperparameter tuning）** 即选择超参数的过程。

需要注意的是，即便函数完全遵循线性回归且无噪声，模型参数 $\hat{\mathbf{w}}$ ，$\hat{b}$ 也不会达到实际最小值，而是无限接近最小值。对于较为复杂的深度神经网络，损失平面通常包含多个最小值。实践上一般不会追求训练集上的最小损失，而是追求能在陌生数据上实现较小损失。这一过程即**泛化（generalization）**。

### 交叉熵损失函数

让我们回到 softmax 回归。

softmax 函数让模型输出标准化为概率，如 $\hat{y}_1 = P(y = 猫 \mid \mathbf{x})$ 。假设数据集 $\{\mathbf{X}, \mathbf{Y}\}$ 有 $n$ 个样本，其中特征向量为 $\mathbf{x}^{(i)}$ ，独热标签向量（ground truth）为 $\mathbf{y}^{(i)}$ 。那么我们有：

$$
P(\mathbf{Y} \mid \mathbf{X}) = \prod^n_{i = 1}P(\mathbf{y}^{(i)}\mid \mathbf{x}^{(i)}).
$$

我们称上式为整个数据集的**似然**（likelihood），其中 $P(A \mid B)$ 表示 A 在 B 发生的条件下发生的概率。

#### 似然

让我们先回顾一下模型的本质。

在概率模型里，我们认为数据是从某个分布里“采样”来的。也就是说，世界上所有猫的照片，都是从某个潜在分布 $P_{真实}(x)$ 中抽取的样本。所谓分布，即决定随机变量可能出现的“规律”，它告诉我们每个可能结果出现的概率有多大。我们显然只能获得从真实分布中抽取到的有限大小的样本，而我们希望模型从这些有限大小的样本中尽可能拟合出真实的分布。

似然，即当模型参数一定时，观察到数据的“可能性”大小。具体地，假设我们有一个参数为 $\theta$ 的模型，其有一个概率分布 $P(x \mid \theta)$ 。我们又有一组真实数据 $x_{\text{obs}}$ ，那么似然函数 $L(\theta) = P(x_{\text{obs}} \mid \theta)$ ，即在参数为 $\theta$ 时我们有多可能观测到 $x_{\text{obs}}$ 这一数据。相对于概率计算的是参数固定的情况下不同数据有多可能出现，似然计算的是数据固定的前提下，不同参数时的分布下这个数据有多可能出现。

我们通常要找让似然最大的参数，其根本原因在于我们试图找到一个概率分布 $P(x \mid \theta)$ ，使得这一分布尽可能接近真实世界中的概率分布。我们的计算也就是在求 $\hat{\theta}_{\text{MLE}} = \arg\max_{\theta}L(\theta)$ ，其中 $L(\theta)$ 为似然函数。

回到交叉熵损失中，根据最大似然估计，我们最大化 $P(\mathbf{Y} \mid \mathbf{X})$ ，相当于最小化负对数似然：

$$
-\log P(\mathbf{Y} \mid \mathbf{X}) = \sum_{i = 1}^n -\log P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}) = \sum_{i = 1}^n l(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)}).
$$

即损失函数为

$$
l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j.
$$

我们称 $l$ 为**交叉熵损失函数**（cross-entropy loss function）。至于最小化负对数似然的原因，其一是由于对数运算的性质 $\log ab = \log a + \log b$ 更便于梯度计算且对数函数单调递增，二是取负号方便进行最小化，满足损失函数最小时损失最小的性质，三是对数自然对应了信息量。

#### 信息量

信息论中，我们称能量化数据中信息内容的量为分布 $P$ 的**熵**（entropy）：

$$
H[P] = \sum_j - P(j) \log P(j).
$$

上式中，$P(j)$ 为事件 $j$ 发生的概率，$\log \frac{1}{P(j)} = -\log P(j)$ 为事件 $j$ 的信息量（越不可能发生信息量的值越大）。直观地来讲，如果一件事经常发生，我们不会对它感到惊异，信息量就小；反之，如果一件事很少发生，我们会对其感到惊异，信息量就大。熵 $H[P]$ 也就是通过把每件事发生的概率加权，求出所有可能事件的平均信息量。

那什么是交叉熵呢？我们记交叉熵为 $H(P, Q)$ ，描述一个主观概率为 $Q$ 的观察者在看到根据概率 $P$ 生成的数据时的预期差异。当 $P = Q$ 时，交叉熵达到最低，即 $H(P, P) = H(P)$ 。

回归到交叉熵损失函数中，如果对于某一组数据，真实类别是第 $k$ 类，那么 $y_k = 1$ ，其他全为 $0$ 。损失化简为 $l^{(i)} = -\log \hat{y}_k$ 。 $\hat{y}_k < 0$ ，则 $l^{(i)} > 0$ ，且 $\hat{y}_k$ 越接近 $1$ ，$l^{(i)}$ 越小。也就是说，模型越相信正确类别（$\hat{y}_k$越大），损失越小；反之损失越大。从信息论的角度来讲，交叉熵损失函数实际上是在计算模型输出的概率分布距离真实分布的不匹配度，衡量了预测分布与真实分布之间的差距。 



浅谈 softmax 回归


## 线性回归

**回归（regression）** 即通过建模某个或多个自变量与因变量之间关系，预测某一数值的问题。回归问题预测的数值是连续的；分类则是预测离散数值。

线性回归则是假设自变量 $\mathbf{x}$ 与因变量 $y$ 之间具有线性关系，且观测数据噪声遵循正态分布。一般地，我们把试图预测的目标成为**标签（label）**或**目标（target）**，预测所依据的自变量（数据）称为**特征（feature）**或**协变量（covariate）**。一般使用 $n$ 表示数据集样本容量，对于索引为 $i$ 的样本，其输入表示为 $\mathbf{x}^{(i)} = [x_1^{(i)},x_2^{(i)}, \cdots]^{\top}$ ，对应标签为 $y^{(i)}$ 。

### 线性模型

首先，给出线性模型的一般定义式：
$$
\hat{y} = \mathbf{w}^{\top}\mathbf{x} + b.
$$
其中 $\mathbf{w}$ 表示模型**权重（weight）**，$b$ 表示**偏置（bias）**，$\mathbf{x}$ 表示单个数据样本的特征。对于特征矩阵 $\mathbf{X} \in \R^{n \times d}$ ，我们同样有：
$$
\hat{\mathbf{y}} = \mathbf{Xw} + b.
$$
线性模型中，偏置项的意义在于提升模型的表达能力，其物理意义即为当所有特征取值都为 0 时，预测值应该为多少。上述二式即代表对于输入特征的**仿射变换（affine transformation）**，即通过加权对特征进行**线性变换（linear transformation）**，并通过偏置项进行**平移（translation）**。

> 矩阵乘法即对于张空间内的向量进行变换。

我们的任务就是对于给定的特征数据集，找到一组最优的 $\mathbf{w}, b$ 来拟合给定的标签，即寻找最优模型参数。

### 损失函数

**损失函数（loss function）**能够量化目标的实际值与预测值之间的差距。通常我们有损失 $\geq 0$ ，且数值越小损失越小，完美预测时损失为 0 。回归问题中最常用的损失函数为**平方损失函数（Square Error Function）**：
$$
l^{(i)}(\mathbf{w}, b) = \frac{1}{2}(\hat{y}^{(i)} - {y}^{(i)})^2.
$$
常数 $\frac{1}{2}$ 的意义在于使 $l$ 的导数常数系数为 1 。对于整个数据集，我们有：
$$
L(\mathbf{w}, b) = \frac{1}{n} \sum^n_{i = 1}l^{(i)}(\mathbf{w}, b) = \frac{1}{n}\sum^{n}_{i = 1}\frac{1}{2}(\mathbf{w}^{\top}\mathbf{x}^{(i)} + b - y^{(i)})^2 .
$$

### 随机梯度下降

尽管对于线性回归，我们可以通过最小化 $\Vert\mathbf{y} - \mathbf{Xw}\Vert^2$ 求出其解析解 $\mathbf{w}^* = (\mathbf{X}^{\top}\mathbf{X})^{-1}\mathbf{X}^{\top}\mathbf{y}$ ，但在大部分深度学习模型中，我们无法简单通过解析解来获得最优参数。**梯度下降（gradient descent）**正是一中可以通过不断地在损失函数递减的方向上更新参数来降低误差的方法。

梯度下降的一般定义即是在迭代时计算损失函数均值关于模型参数的偏导数（通过链式法则，也称梯度），但效率极低。为了避免在每一次更新时遍历一遍数据集，我们通常会在每次需要更新的时候随机抽取一小批样本，即**小批量随机梯度下降（minibatch stochastic gradient descent）**。

在每次迭代时，我们首先随机抽样一个容量固定的小批量 $\mathcal{B}$ ，并计算小批量的平均损失关于模型参数的偏导数。最后，我们将梯度乘以一个预先确定的正数 $\eta$（**学习率，learning rate**），并从当前参数的值中减掉。

形式化地，对于每次迭代，我们有：
$$
(\mathbf{w}, b) \larr (\mathbf{w}, b) - \frac{\eta}{\vert\mathcal{B}\vert} \sum_{i \in \mathcal{B}}\partial_{(\mathbf{w}, b)}l^{(i)}(\mathbf{w}, b) .
$$
对于类似 $\eta$ 和 $\vert\mathcal{B}\vert$ （**批次大小，batch size**） 的可以调整但是不在训练过程中的参数我们成为**超参数（hyperparameter）**。**调参（hyperparameter tuning）**即选择超参数的过程。

需要注意的是，即便函数完全遵循线性回归且无噪声，模型参数 $\hat{\mathbf{w}}$ ，$\hat{b}$ 也不会达到实际最小值，而是无限接近最小值。对于较为复杂的深度神经网络，损失平面通常包含多个最小值。实践上一般不会追求训练集上的最小损失，而是追求能在陌生数据上实现较小损失。这一过程即**泛化（generalization）**。

### 噪声与正态分布

若随机变量 $x$ 具有均值 $\mu$ 和方差 $\sigma^2$ ，其正态分布概率密度函数如下：
$$
p(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{1}{2\sigma^2}(x - \mu)^2) .
$$
改变均值会产生沿 $x$ 轴的偏移，增加方差会分散分布、降低峰值。

而均方误差损失函数可以用于线性回归的原因之一是我们假设了观测中包含噪声，而噪声服从正态分布：
$$
y = \mathbf{w}^{\top}\mathbf{x} + b + \epsilon.
$$
通过给定的 $\mathbf{x}$ 观测到特定 $y$ 的**似然（likelihood）**为：
$$
p(y \mid \mathbf{x}) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{1}{2\sigma^2}(y - \mathbf{w}^{\top}\mathbf{x} - b)^2) .
$$
对于整个数据集的似然，即为：
$$
P(\mathbf{y} \mid \mathbf{X}) = \prod^n_{i = 1}p(y^{(i)}\mid \mathbf{x}^{(i)}) .
$$
通过最小化负对数似然，得：
$$
-\log P(\mathbf{y} \mid \mathbf{X}) = \sum^n_{i = 1}\frac{1}{2}\log(2\pi\sigma^2) + \frac{1}{2\sigma^2}(y^{(i)} - \mathbf{w}^{\top}\mathbf{x}^{(i)} - b)^2 .
$$
剔除式中常数项，该式即等价于最小化均方误差。

标签深度学习

标签为深度学习的文章

浅谈 softmax 回归

浅谈线性回归

Sam Zhang.

标签 深度学习

标签为 深度学习 的文章

浅谈 softmax 回归

浅谈线性回归

Sam Zhang.

标签深度学习

标签为深度学习的文章