http://chestnutheng.github.io/tags/%E6%84%9F%E7%9F%A5%E6%9C%BA/ Recent content in 感知机 on 子恒的博客 Hugo zh-CN Sat, 06 Feb 2016 00:19:00 +0800 http://chestnutheng.github.io/machine_learning_procetron/ Sat, 06 Feb 2016 00:19:00 +0800 http://chestnutheng.github.io/machine_learning_procetron/ <h1 id="机器学习基石笔记-感知机">机器学习基石笔记 感知机</h1> <h2 id="损失函数">损失函数</h2> <p>给定一个数据集 $T ={(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)}$ , 其中 $x = R^n , , y={+1,-1}$</p> <p>若存在超平面S $w\cdot x + b = 0$ 能将所有的正负实例点分到两侧，则称数据集是线性可分的，否则称线性不可分。<br> 任意一点$x_0$到超平面的距离为<br> $$\frac{1}{||w||}|w\cdot x_0 + b|$$<br> 对于误分类数据$(x_i,y_i)$来说，<br> $-y_i(w\cdot x_i + b) &gt; 0$</p> <p>有误分类点到超平面距离<br> $$-\frac{1}{||w||}y_i|w\cdot x_0 + b|$$</p> <p>则所有误分类点到超平面距离为<br> $$-\frac{1}{||w||}\sum_{x_i \in m }y_i|w\cdot x_0 + b|$$</p> <p>所以感知机$sign(w\cdot x + b)$学习损失函数为<br> $$L(w,b) = -\sum_{x_i \in m }y_i|w\cdot x_0 + b|$$</p> <h2 id="学习算法">学习算法</h2> <ol> <li> <p>选取初值$w_0,b_0$</p> </li> <li> <p>在训练集中选取数据$(x_i,y_i)$</p> </li> <li> <p>如果$y_i(w\cdot xi+ b) \leq 0$（分类错误）<br> $$w \leftarrow w + x_iy_i$$</p>