机器学习回归分析-逻辑回归(Logistic Regression)

Contents

一、背景

逻辑回归(Logistic Regression )用来解决分类的算法。 其本身是二分类器,对于多分类,我们可以通过其他方法,比如 OVR,OVO 进行多分类。

二、逻辑回归

2.1. 什么是逻辑回归?

在线性回归模型中,输出一般是连续的,例如 ,对于每一个输入的x,都有一个对应的 输出。模型的定义域和值域都可以是 [-∞, +∞]。
但是对于逻辑回归,输入可以是连续的 [-∞, +∞],但输出一般是离散的,即只有有限多个输出值。例如,其值域可以只有两个值 {0, 1},这两个值可以表示对样本的某种分类,高/低、患病/健康、阴性/阳性等,这就是最常见的二分类逻辑回归。

2.2 逻辑回归与线性回归的关系

逻辑回归也被称为广义线性回归模型,它与线性回归模型的形式基本上相同,都具有 ,其中 是待求参数。 它在线性回归的基础上,在特征到结果的映射中加入了一层 函数(非线性)映射,即先把特征线性求和,然后使用 函数来预测。

2.3 Sigmoid函数

image1
sigmoid的函数输出是介于(0,1)之间的,中间值是 0.5。输出是介于(0,1)之间,也就表明了数据属于某一类别的概率,例如 :
则说明当前数据属于 A 类;
则说明当前数据属于 B 类。

三 逻辑回归模型及求解

3.1 从线性回归模型到Sigmoid映射后的模型

线性回归模型如下:

逻辑回归的模型定义(需要借助Sigmoid函数):

将上述线性回归的模型带入到g(x)中,得到最终的逻辑回归的模型:

假定上式是等于类 1 的概率,等于类 0 的概率等于1减去等于类 1 的概率,如下所述:

将上式写成一个式子

其中y的取值只能是0或者1。

3.2 二元逻辑回归的损失函数

先求出由所有样本组成的似然函数

其中m为样本的个数。

对数似然如下:

然后,利用对数极大似然估计,即求上式的极大值,引入因子 -1/m,转化为求下式的极小值:

即损失函数表达式为:

3.3 梯度下降法求解损失函数

找到一组,使得 没有公式解,采用梯度下降的方法进行求解。

先来写一下大致的推导过程:
image2

稍微解释一下推导流程,便于理解。
  (1)—>(2):使用sigmoid函数的形式g(z)替换hθ(x)、提出公因子,放在式子尾
  (2)—>(3):这一步具体推导如下(使用了复合函数的求导公式)
image3

根据梯度下降法可得θ的更新过程:
即:

因为式中 本来为一常量,所以 一般将省略,所以最终的 更新过程为:

五、小结

本节主要是讲解逻辑回归算法,让我们更清楚的了解逻辑回归是怎么来的,损失函数时怎么推导的。

References

[1] 机器学习逻辑回归:原理解析及代码实现
[2] 逻辑回归原理小结
[3] 逻辑回归的常见面试点总结
[4] Logistic回归Cost函数和J(θ)的推导(二)—-梯度下降算法求解最小值

Further Reading

[1] 1.1. Generalized Linear Models


转载请注明:yezuolin的博客 » 点击阅读原文