线性模型-Logistic回归（参数学习具体示例）

Logistic 回归采用交叉熵作为损失函数，并使用梯度下降法来对参数进行优化。

Logistic 回归的参数学习通常基于最大似然估计（MLE），目标是通过最小化损失函数（通常是二元交叉熵损失）来找到最优参数。下面以一个简单的二分类问题为例，详细说明参数学习的过程。

一. 问题描述

假设我们有一个简单的数据集，用于判断某封邮件是否为垃圾邮件。样本的特征只有一个（例如“包含‘免费’一词的次数”），真实标签 y 取值为 0（正常邮件）或 1（垃圾邮件）。数据集示例如下：

邮件样本特征 x标签 y110220331441 二. 模型表示

Logistic 回归模型假设：

z=wx+b

然后通过 Sigmoid 函数将 z 映射到 (0,1) 的概率：

这里，w 和 b 为我们需要学习的参数。

三. 损失函数与最大似然估计

对于一个样本，二元交叉熵损失函数为：

关于二元交叉熵损失函数，可以参考博文：线性模型 - 二分类问题的损失函数-CSDN博客

整个数据集的总损失（目标函数）是各样本损失的平均：

最小化 J(w,b) 就相当于最大化训练数据的似然。

且J(w,b)是关于参数 𝒘 的连续可导的凸函数.因 此除了梯度下降法之外，Logistic 回归还可以用高阶的优化方法(比如牛顿法) 来进行优化.

四. 参数学习的过程（基于梯度下降）

我们通过梯度下降法来迭代更新 w 和 b 使得 J(w,b) 最小。

步骤：

初始化参数 例如，初始化 w=0，b=0。

计算预测

计算损失

计算梯度 对 w 和 b 求偏导，梯度推导可得（这里简化说明）：

我们利用链式法则一步步推导梯度如下（这里给出偏导的推导过程，有兴趣的可以理解，只要求应用的可以跳过）：

更新参数 使用学习率 α进行参数更新：

迭代 重复步骤2到步骤5，直到损失函数收敛到一个较小值。

五. 具体数值示例

假设我们采用学习率 α=0.1，用上面的数据集进行一轮更新。

初始化： w=0,b=0。

样本计算：

计算梯度：

参数更新：

六. Logistic 回归的参数学习过程主要包括： 计算输入特征的线性组合；通过 Sigmoid 函数得到概率输出；定义二元交叉熵损失函数衡量预测误差；使用梯度下降法计算梯度，并更新参数；反复迭代直到损失收敛。

通过这个具体的数值例子，我们可以看到如何从初始参数开始，通过不断调整使得模型预测更精确，最终学到一个有效的二分类模型。

七.为了更好的理解Logistic回归的应用，我们在掌握原理之后，再看一个垃圾邮件检测的示例 示例场景

假设我们有一批电子邮件，每封邮件已被标注为“垃圾邮件”（标签1）或“正常邮件”（标签0）。我们希望通过逻辑回归模型来判断新邮件是否为垃圾邮件。

1. 数据准备与特征提取

假设我们从邮件中提取以下几个简单特征：

特征1： 邮件中包含“免费”一词的次数特征2： 邮件中包含“优惠”一词的次数特征3： 邮件的总字数

例如，我们有如下训练数据（仅示例数据）：

邮件ID免费次数 (x₁)优惠次数 (x₂)总字数 (x₃)标签 (y)132100120015003111200443801

这些特征可以认为是对邮件内容的一种量化描述，反映了垃圾邮件通常包含促销、诱导类词汇以及篇幅可能较短的特点。

2. 构建逻辑回归模型

模型公式： 逻辑回归模型的决策函数为：

其中 w1,w2,w3是特征对应的权重，b 是偏置项。

概率输出： 将 z 传递给 Sigmoid 函数，得到预测为垃圾邮件的概率：

决策规则： 如果 P(spam∣x)≥0.5（或根据业务需求调整阈值），则预测该邮件为垃圾邮件（标签1）；否则预测为正常邮件（标签0）。

3. 模型训练

构建损失函数 使用二元交叉熵损失来度量模型预测与真实标签之间的差距：

参数求解 利用梯度下降法或其他优化算法调整 w1,w2,w3 和 b，使得总损失（所有训练样本的损失之和）最小。

假设经过训练后，我们得到如下参数：（具体过程如上面介绍的梯度下降法）

w_1 = 0.8w_2 = 0.5w_3 = -0.01b = -2

这些参数表明：

邮件中“免费”和“优惠”的出现次数对判断为垃圾邮件有正面影响（正权重）；邮件字数 x_3 的负权重可能反映出垃圾邮件通常较短；偏置项 b=−2 调整了整体的决策门槛。 4. 模型预测

假设现在有一封新邮件，其特征为：

免费次数：2优惠次数：1总字数：90

计算线性组合：

计算概率：

决策： 由于 0.31<0.5，模型预测这封邮件为正常邮件（标签0）。

5. 总结 理解： 逻辑回归通过计算输入特征的线性组合，将其转换为垃圾邮件的概率，从而做出分类决策。应用： 垃圾邮件检测是逻辑回归的经典应用之一，通过特征提取、模型训练和概率阈值判断，实现对邮件是否为垃圾邮件的自动分类。

这个例子展示了从特征提取、模型构建、参数训练到最终预测的全过程，帮助初学者直观地理解如何使用逻辑回归解决二分类问题，特别是在垃圾邮件检测场景下的应用。

关于梯度下降法，请参考博文：机器学习-常用的三种梯度下降法_梯度下降算法有哪些-CSDN博客