我理解具有任意数量隐藏层的神经网络可以近似非线性函数,但是它甚至可以预测一些特殊的函数,特别是像一些统计方法一样吗?
假设分类问题的统计规则如下。对于训练集输入X_train和输出Y_train,我们计算属于每个特定类的X_train的几何平均值(即每个特定类的X_train中心)。因此,对于每个类,我们有一个X中心。现在对于测试数据,我们通过找到到训练中心的最短欧氏距离来估计类标签。例如,假设训练给我们的中心如下映射:(-1,1,1)-
问题是我不知道是否有监督学习方法可以做到上述策略。我会称之为“监督k-means”。KNN方法类似,但它基于N个最近点而不是所有训练点的平均值来找到标签。
我想知道神经网络是否可以做到这一点。或者我是否错过了其他实际上可以做到上述策略的学习技术?如果我尝试学习的统计策略更复杂,例如包括中心和协方差怎么办?
使用神经网络来解决这样的问题将是一个超调。
线性判别分析和高斯朴素贝叶斯做的事情与你描述的类似。它们将每个类的中心估计为算术平均值,并将每个点与最近的中心联系起来。但是它们计算修改后的距离而不是欧几里得:GNB估计每个特征的条件方差,LDA也估计协方差。而且它们还考虑了先验类概率。这些修改可能会改进你的分类,但是如果你不想要它们,你可以自己为它写一个算法。