3.1-logistic-regression.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 逻辑回归 Logistic Regression\n",
    "\n",
    "前面我们介绍了回归（Regression）的概念，讲解了线性回归（Linear Regression）。本章我们引入一个新的概念：**分类（Classification）**。\n",
    "\n",
    "\n",
    "\n",
    "## 1.什么是分类（Classification）？\n",
    "\n",
    "了解**分类（Classification）**的定义需要借助我们在讲解多元线性回归（Multiple Linear Regression）时介绍的**数据类型**的概念。对于回归分析来说，outcome的数据类型是连续变量（Continuous Variable）。基于此，当outcome是分类变量（Categorical Variable）的时候，回归（Regression）问题就变成了分类（Classification）问题。\n",
    "\n",
    "以下是一些分类问题的例子：\n",
    "\n",
    "- 通过身高和体重预测性别。\n",
    "- 通过肿瘤大小判断其是恶性还是良性。\n",
    "- 通过作业成绩预测学生期末会挂科还是通过。\n",
    "\n",
    "以上例子的outcome都是分类变量（Categorical Variable），所以他们都是**分类（Classification）**问题。\n",
    "\n",
    "\n",
    "\n",
    "## 2.从Linear Regression到Logistic Regression\n",
    "\n",
    "假设我们现在研究一个这样的问题：**通过肿瘤尺寸判断其是良性还是恶性**。\n",
    "\n",
    "数据可视化的结果如下。X轴表示肿瘤尺寸，Y轴表示诊断结果（1:恶性，0:良性）。\n",
    "\n",
    "![Logistic Regression 1](img/tutorial-img/image-20190721015808186.png)\n",
    "\n",
    "**线性回归（Linear Regression）**不适用于这种分类问题，原因如下：\n",
    "\n",
    "**(1) Outcome的含义不同**\n",
    "\n",
    "首先，在线性回归（Linear Regression）中，outcome是一个连续变量（Continuous Variable）。对于连续变量来说，是包含大小关系的。也就是说，连续变量有$1>0$这个含义。但是在分类（Classification）问题中，结果的数字是分类变量（Categorical Variable），只表示类别，并没有大小关系。在上面的例子中，虽然我们定义了outcome：0表示恶性，1表示良性。但完全可以反过来定义，令1表示恶性，0表示良性。在这种情况下，线性回归模型因为结果定义的修改就会变得完全不同。\n",
    "\n",
    "**(2) Outcome超出合理范围**\n",
    "\n",
    "其次，如果强行使用线性回归来解决这个问题，我们会得到这样的回归线（Regression Line）：\n",
    "\n",
    "![Logistic Regression 2](img/tutorial-img/image-20190721020027193.png)\n",
    "\n",
    "可以看到，由于模型是一条直线，所以我们的输出值最终会介于$(-\\infin, +\\infin)$之间。这与我们期待的outcome（0或者1）并不匹配。\n",
    "\n",
    "**(3) 介绍逻辑回归（Logistic Regression）**\n",
    "\n",
    "所以我们采用一种更适合分类问题的分析方法，称作**逻辑回归（Logistic Regression）**。\n",
    "\n",
    "与线性回归（Linear Regression）不同，逻辑回归（Logistic Regression）的模型是一条这样的曲线：\n",
    "\n",
    "![Logistic Regression 3](img/tutorial-img/image-20190721020740236.png)\n",
    "\n",
    "曲线的两端无限逼近0和1，但不会超过0和1。所以逻辑回归（Logistic Regression）的output在$(0, 1)$区间内。我们可以设置一个**阈值（threshold）**，规定：\n",
    "$$\n",
    "output = \\begin{cases}\n",
    "0 \\quad \\text{if} \\quad \\hat{y} \\leq threshold \\\\\n",
    "1 \\quad \\text{if} \\quad \\hat{y} > threshold\n",
    "\\end{cases}\n",
    "$$\n",
    "这样我们就可以通过逻辑回归（Logistic Regression）得到我们希望的的output。\n",
    "\n",
    "此外，逻辑回归（Logistic Regression）有另一个优势：其结果可以表示output为1 的概率。这样子，在我们肿瘤诊断的问题中，除了可以给出**肿瘤是良性还是恶性**的结论，还可以给出**肿瘤为恶性的概率**。\n",
    "\n",
    "\n",
    "\n",
    "## 3.S形函数（Sigmoid Function）\n",
    "\n",
    "那么，我们怎么样才能够把一条直线变成逻辑回归模型的曲线呢？\n",
    "\n",
    "很简单，我们将直线方程放到一个叫做S函数（Sigmoid Function）的式子中，直线就会被转化为上述曲线。\n",
    "\n",
    "**(1) S形函数（Sigmoid Function）**\n",
    "\n",
    "Sigmoid function的公式为：\n",
    "$$\n",
    "sig(t) = \\frac{1}{1+e^{-t}}\n",
    "$$\n",
    "通过这个公式，我们可以分析出：\n",
    "\n",
    "> 1. 当$t$远小于0的时候，$e^{-t}$是一个非常大的数，所以$sig(t) \\approx 0$。\n",
    "> 2. 当 $t=0$ 的时候，$e^{-t} = 1$，所以$sig(t) = 0.5$。\n",
    "> 3. 当$t$远大于0的时候，$e^{-t} \\approx 0$，所以$sig(t) \\approx 1$。\n",
    "\n",
    "S形函数（Sigmoid Function）的图形如下（图中标号与以上3点对应）：\n",
    "\n",
    "![Logistic Regression 4](img/tutorial-img/image-20190721024342355.png)\n",
    "\n",
    "**(2) 直线到曲线的转换**\n",
    "\n",
    "所以，要将线性回归（Linear Regression）的直线方程变成逻辑回归（Logistic Regression）的曲线非常简单，只需要将直线方程带入方程就可以得到（通常我们用$h\\theta(x)$来表示逻辑回归的的模型函数）：\n",
    "$$\n",
    "h\\theta(x) = \\frac{1}{1+e^{-(\\beta_0 + \\beta_1x)}}\n",
    "$$\n",
    "\n",
    "> 备注：此处我们带入的直线是简单线性模型，只是为了理解方便。也可以带入多元线性模型，得到更复杂的逻辑回归模型（Logistic Regression Model）。\n",
    "\n",
    "\n",
    "\n",
    "## 4.如果Outcome有多个类别（Category）怎么办\n",
    "\n",
    "上面我们介绍了outcome只有两类的分类问题，那么如果outcome有3类或者更多怎么办？\n",
    "\n",
    "我们可以将多类问题转化成多个二分类问题。假设我们预测人的血型，output有四种值：\n",
    "$$\n",
    "output = \\begin{cases}\n",
    "A \\\\\n",
    "B\t\\\\\n",
    "AB \\\\\n",
    "O\n",
    "\\end{cases}\n",
    "$$\n",
    "我们可以将其转换为4个二分类问题：\n",
    "$$\n",
    "output1 = \\begin{cases}\n",
    "A \\\\\n",
    "Not A\n",
    "\\end{cases} \\\\ output2 = \\begin{cases}\n",
    "B \\\\\n",
    "Not B\n",
    "\\end{cases}\t\\\\ output3 = \\begin{cases}\n",
    "AB \\\\\n",
    "Not AB\n",
    "\\end{cases}\t\\\\ output4 = \\begin{cases}\n",
    "O \\\\\n",
    "Not O\n",
    "\\end{cases}\n",
    "$$\n",
    "这样我们就可以用逻辑回归模型将多类别区分出来。\n",
    "\n",
    "> 备注：实际上，3个二分类模型也可以实现分类任务。当3个模型的结果都为0的时候，预测结果就是第4类。\n",
    "\n",
    "\n",
    "\n",
    "## 5.如何确定阈值？\n",
    "\n",
    "当我们改变阈值（Threshold）的时候，结果（Outcome）会改变。于是就会出现四种情况，拿肿瘤举例：\n",
    "\n",
    "> 情况1：<span style='color: blue'>实际上是恶性（1），预测结果为恶性（1）</span>\n",
    ">\n",
    "> 情况2：<span style='color: red'>实际上是恶性（1），预测结果为良性（0）</span>\n",
    ">\n",
    "> 情况3：<span style='color: red'>实际上是良性（0），预测结果为恶性（1）</span>\n",
    ">\n",
    "> 情况4：<span style='color: blue'>实际上是良性（0），预测结果为良性（0）</span>\n",
    "\n",
    "上述四种情况中，情况1和情况4是正确的，情况2和3是错误的。调节阈值，本质上是调节4种情况出现的概率，而且主要是在情况2和情况3中作取舍。\n",
    "\n",
    "在这个案例中，由于情况2会导致比情况3更严重的后果，所以我们在实际操作中会倾向于让情况2少发生，并且接受情况3会更多的发生。\n",
    "\n",
    "但在有的案例中，如果漏检的后果不像恶性肿瘤这么严重，出于成本考虑我们也许会接受情况2更多，情况3更少的设定。\n",
    "\n",
    "\n",
    "\n",
    "这背后的知识点叫做Confusion Matrix，常用于衡量分类模型的结果。感兴趣的同学可以参考这个教程：[Understanding Confusion Matrix](https://towardsdatascience.com/understanding-confusion-matrix-a9ad42dcfd62)\n",
    "\n",
    "## 6.总结\n",
    "\n",
    "本章我们进入了新的阶段，引入了一个新的概念，分类（Classification），介绍了逻辑回归（Logistic Regression）。内容涵盖：\n",
    "\n",
    "- 逻辑回归的概念\n",
    "- 逻辑回归的原理\n",
    "- 如何讲逻辑回归用于多类分类问题\n",
    "- 如何设定分类结果的阈值\n",
    "\n",
    "接下来我们看一个实际案例，将学到的知识利用起来。\n",
    "\n",
    "**下一章：**[3.2 实战演练3：糖尿病诊断](https://github.com/RyC37/data-science-tutorial-for-beginners/blob/master/3.2-logistic-regression-for-medical-data-diabetes-analysis.ipynb)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}