神经网络比支持向量机好吗？
一段时间以来，我一直在学习支持向量机和神经网络，我了解这些技术背后的逻辑。非常简短描述：a支持向量机，使用内核技巧，你发送；在一个神经网络中，你执行一
解答动态
你可能听说过机器学习中的“没有免费午餐定理”。对于每种模型，都有特定数据和用例的优缺点。神经网络并不比支持向量机好，我可以很容易地举几个例子。一个重要的论点是支持向量机是凸的，而神经网络通常不是。有一个凸问题是可取的，因为我们有更多的工具来解决它更可靠。
如果我们知道我们的数据，我们可以选择一个更好的模型来更好地拟合数据。例如，如果我们有像甜甜圈形状这样的数据。像这样
使用具有正确核的支持向量机比使用神经网络更好，在这种情况下，神经网络可能会过度拟合数据。
简短回答：在小数据集上，支持向量机可能是首� �
Long答案：
神经网络比支持向量机更古老，支持向量机最初是作为一种有效训练神经网络的方法而发展起来的。所以，当支持向量机在20世纪90年代发展成熟时，人们从神经网络转向支持向量机是有原因的。后来，随着数据集变得越来越大、越来越复杂，特征选择成为一个（甚至更大）的问题，与此同时，计算能力的提高，人们又重新开始使用。
这一发展已经表明，两者都有各自的优点和缺点，正如海涛所说，没有免费的午餐。
本质上，这两种方法都有进行某种数据转换，将它们“发送”到更高维空间。核函数对支持向量机的作用，隐层对神经网络的作用。最后，网络中的输出层还对转换后的数据进行线性分离。所以这不是核心的区别。为了证明这一点，我可以随意使用海涛的例子。正如你在下面看到的，一个两层的神经网络，在隐藏层有5个神经元，可以完美地将这两个类分开。蓝色类可以完全封闭在五边形（浅蓝色）区域中。隐藏层中的每个神经元决定一个线性边界——五边形的一个边，当它的输入是线的“蓝色”边上的一个点时产生+1，否则产生-1（它也可能产生0，这其实无关紧要）。
I使用了不同的颜色来突出显示哪个神经元负责哪个边界。输出神经元（黑色）只是检查（执行逻辑AND，这也是一个线性可分函数）所有隐藏的神经元是否给出相同的“肯定”答案。观察最后一个神经元有五个输入。一、 它的输入是一个5维向量。因此，隐藏层将二维数据转换为5D数据。然而，请注意，神经网络绘制的边界有些任意。您可以稍微移动和旋转它们，而不会真正影响结果。网络绘制边界的方式有些随机；它取决于权重的初始化以及向其呈现训练集的顺序。这就是支持向量机的不同之处：它们保证在两个类的最近点之间画出中间的边界！可以证明这个边界是最优的。寻找边界是一个凸（二次）优化问题，存在快速算法。此外，核技巧的计算优势在于，计算单个非线性函数通常比通过许多隐藏层传递向量快得多。然而，由于支持向量机从不显式计算边界，而是通过输入数据对上的核函数加权和，计算工作量与数据集大小成二次比例。对于大型数据集，这很快变得不切实际。
此外，当数据是高维的（想想有数百万像素的图像）时，支持向量机可能会被维数的诅咒所淹没：在训练集上画一个好的边界变得太容易了，但是它的泛化特性很差。另一方面，卷积神经网络能够从数据中学习相关特征。
这里还有一个计算能力问题：今天的网络喜欢使用分段线性的激活函数，比如ReLUs，这是有原因的。应用它们是简单的线性代数，GPU擅长的东西（因为3D图形也涉及很多矩阵乘法）。因此，今天的神经网络在某种程度上是游戏业的副产品。
总之，我的建议是对低维小数据集使用支持向量机，对高维大数据集使用神经网络。
SVM很有趣，如果你心里有一个你知道合适的内核，或者是一个特定领域的内核，很难用可微的方式表达（一个常见的例子可能是DNA序列的字符串相似空间）。但是如果您不知道应该使用哪种内核呢？如果你的数据是一个价值观的广泛集合，而你甚至事先都不确定哪些价值观是相关的呢？你可以把人类研究人员的时间花在特性工程上，或者你可以尝试自动内核搜索方法，这些方法非常昂贵，但在好的一天，甚至可能会想出一些可以被认为是可解释的方法。或者你可以把整件事都扔进DNN并进行训练。神经网络通过backprop和梯度下降所做的可以很好地被认为是学习一个核，只是它不是一个很好的函数形式，而是由一个基本非线性的大量应用程序（字面上）组成，并加入一些加法和乘法。典型分类网络的下一个最后一层就是这样的结果——它是一个投影到一个空间中，该层中每个神经元都有一个维度，在这个空间中，分类被很好地分离，然后是最终的结果（忽略softmax，这实际上只是一种标准化）是一个仿射映射，将空间映射到一个类别轴对齐的空间，因此分离的表面可以免费使用几何体（但如果我们愿意，我们可以将它们向后发送到第二层到最后一层）。
DNN分类器完成了与SVM分类器非常相似的事情，只有它用一种“愚蠢”的方式，使用梯度下降和简单可微单元的重复。但有时在计算中，“哑巴”也有它的优点。易于应用于gpu（它喜欢将相同的简单操作并行应用于大量数据点）就是其中之一。SGD和小批量梯度下降的能力，以最小的效率损失扩展到非常大的例子数量是另一个。当然，它也有自己的缺点。如果你在神经网络结构、初始权值、优化方法、学习率、批量大小等方面做了错误的选择，那么随机训练过程可能完全无法收敛，或者需要100万年才能收敛，而支持向量机训练基本上是确定性的术语；这些是我15年左右的个人经历，只是偶尔的爱好而已- End
免责声明：
本页内容仅代表作者本人意见，若因此产生任何纠纷由作者本人负责，概与琴岛网公司无关。本页内容仅供参考，请您根据自身实际情况谨慎操作。尤其涉及您或第三方利益等事项，请咨询专业人士处理。