感知机

1.感知机模型

  感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别。

参数：
  感知机模型：wx+b
  由输入空间到输出空间：f(x)=sign(wx+b)
  输入空间：X$\subseteq$ $R^n$
  输出空间：Y={+1，-1}
  输入变量：x $\in$ X
  输出变量：y $\in$ Y
  内积：wx
  偏置：b $\in$ R

2.感知机学习策略

  感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。
  任意一点到超平面S的距离：|w·$x_0$+b|/ ||$w_0$||
  误分类点到超平面S的距离：-$y_i$(w·$x_i$+b)/ ||$w$||
  所有误分类点到超平面S的总距离:-[$\sum_{x_i\in M}$ $y_i$(w·$x_i$+b)]/ ||$w$||
  损失函数：L(w,b)=-$\sum_{x_i\in M}$ $y_i$(w·$x_i$+b)

3.感知机学习算法

3.1原始形式

输入:训练数据集T={($x_1$,$y_1$),($x_2$,$y_2$),…,($x_n$,$y_n$)},正负类，以及学习率
输出：w,b;感知机模型f(x)=sign(wx+b)

• 选取初值：$w_0$,$b_0$
• 在训练集中选取数据
• 如果$y_i$(w·$x_i$+b)≤0：
  w=w+$\eta$$y_i$$x_i$
  b=b+$\eta$$y_i$
• 转到第二步，直到没有误分类点

3.2例题

3.3对偶形式

输入：同原始形式
输出：a,b;感知机模型f(x)=sign($\sum^{N}_{j=1}$$a_j$$y_j$$x_j$·x+b)，其中a=($a_1$,$a_2$,…,$a_N$)

• a=b,b=0
• 训练集中选取数据($x_j$,$y_j$)
• 如果$y_i$($\sum^{N}_{j=1}$$a_j$$y_j$$x_j$·x+b)≤0，
  $a_i$=$a_i$$\eta$
  b=b+$\eta$$y_i$
• 转到第二步直到没有误分类数据

3.4对偶形式例题