感知机简介

感知机是二元线性分类器，属于判别模型，主要思想是通过寻找一个超平面来将输入空间(特征空间）中的实例划分为正负两类。

感知机的损失函数是所有误分类点到分离超平面的总函数间隔，采用随机梯度下降法进行优化。

感知机的学习算法有两种形式，原始形式和对偶形式。

感知机模型

$$ f(x)=sign(w\cdot x+b) $$

分离超平面

$$ w\cdot x+b=0 $$

感知机的学习策略

数据要求：线性可分

感知机要求数据集一定是线性可分的，即通过一个超平面能够将数据集的正实例点和负实例点全部准确的划分到超平面的两侧。

损失函数选择

1. 误分类点总数

   损失函数不是w、b的导数，不易优化

2. 所有误分类点到超平面的总几何距离

   $$ -\frac{1}{||w||}\sum_{x_i \in M} y_i\left(w \cdot x_i+b\right) $$

3. 所有误分类点到超平面的总函数间隔（即不考虑1/w）

   $$ L(w, b)=-\sum_{x_i \in M} y_i\left(w \cdot x_i+b\right) $$