感知机与向量
by\mathscr{by}by AmamiyaFuko\mathfrak{AmamiyaFuko}AmamiyaFuko
笑容挂在了嘴角上,话语爬进了咽喉里
感知机
感知机是一种分类机器,虽然一般而言认为它是仿生的,非线性的,不过也有一个线性的简单版本,这个线性的感知机更加简单。
线性的感知机是通过欧几里德范数实现的,也就是向量的点积,向量的点积总的来说会有两个结果,正的,或者是负的,这也是线性感知机的分类原理,正的归于一类,负的归于一类。
下面来说说这个感知机是如何迭代的,当然,首先要说说它的形式。
设有一函数ϕ(x)\phi(x)ϕ(x),若 x为正,它输出 1,反之输出 -1,很简单。
再设有一个权重向量 ωˇ\v{\omega}ωˇ,和一个输入向量xˇ\v{x}xˇ,这个xˇ\v{x}xˇ就是一个需要被分类的点。
然后还有一个偏置 b,这是个常数。
那么线性感知机的形式就是
ϕ(ωˇTxˇ+b)\phi(\v{\omega}^{T}\v{x} + b)ϕ(ωˇTxˇ+b)
当然,这个感知机是否线性取决于ϕ\phiϕ,如果它是线性的,那么感知机就是线性的,一般来说我们管我们现在用的这个叫越阶函数,它没法微分,这就是为什么我们在训练神经网络的时候不使用它,虽然它很简单。
然后它迭代的方式是,如果机器的结果是错误的,就将权重向量和输入向量加起来作为新的权重向量,这样我们最终就可以得到一个正确的权重向量,反之就不变。
这就是为什么,它的决策边界是线性的,一个超空间。当然实践上我们会把偏值加到权重向量里,然后在输入向量加入一个常数项,这就可以实现和形式一样的效果,而且可以正确迭代。