RBM的能量仅取决于体系结构吗？

Question

我正在浏览网络几天，寻找我的问题的答案，但我不能很好地理解这个话题，以便能够解释我找到的书籍。

以下是我现在了解的内容：

我认为我得到了监督学习。你有一个（x，y）对的数据集。你制作一个模型，向它提供x，退出y的模型，然后尝试根据你的模型射出多远来尽量减少一些成本函数。

RBM通常用于无监督学习，因为在您只有（x）值。因此，您无法创建最小化成本函数。相反，你定义了一个能量函数，它依赖于神经元的激活和它们之间的权重。当你获得最少的能量时，你训练了模型。

但是这最后一个想法告诉我，能量，因此模型的优化结构仅取决于体系结构，并且独立于输入数据。所以只有通过设置输入和隐藏神经元的数量，您才能预先定义网络的权重和偏差。

那真的是这样吗？ RBM的培训是否独立于我们想要应用的数据集？

Answer 1

你错过了无监督学习的重点。

RBM通常用于无监督学习，因为在您只有（x）值。因此，您无法创建最小化成本函数。

这简直是错误的，您可以定义许多有效的成本函数，它们根本不依赖于标签（因为没有标签）。但考虑例如kmeans模型，其中您将K点放置在输入空间中，这里的成本是您的X到距离这些点的关点的距离的总和。

而是定义一个能量函数，这取决于神经元的激活以及它们之间的权重。当你获得最少的能量时，你训练了模型。

基于能量的推理只是众多可能性之一。特别是，这对RBM是有意义的。

但是这最后一个想法告诉我，能量，因此模型的优化结构仅取决于体系结构，并且独立于输入数据。

这是错误的，如活化是数据的功能。没有正在处理的数据，您没有网络激活。根据这样的推理，监督学习也将“独立于输入数据”，因为你的网络为给定的x产生的是也是激活（输出层）。

所以只有通过设置输入和隐藏神经元的数量，您可以预先定义网络的权重和偏差。

不，这没有任何意义。最多它定义了RBM中的参数数量，而不是实际值。

那么真的是这样吗？ RBM的培训是否独立于我们想要应用的数据集？

由于上述答案 - 没有。 RBM训练修改权重以最小化能量，其被定义为权重和激活（其另一方面是数据相关元素）的函数。