PCA，TruncatedSVD和ICA有什么区别？

Question

有人可以告诉我PCA（主成分分析），TruncatedSVD（截断奇异值分解）和ICA（独立成分分析）之间的差异吗？

Answer 1

详细操作需要长页面PDF文档:-)。

但这个想法很简单：

1. 主成分分析（PCA） - 分析数据本地坐标。即沿着数据的最具能量的协调（方差）。对于维数为d的样本，将有$ d $正交方向。即投影在它们上面的数据没有相关性。如果我们将数据视为随机变量，这意味着我们找到了一个坐标系，其中来自投影数据的任何一对的交叉相关（第一个矩）消失。
   这是一种非常有效的方法，通过保持大部分能量来以较低的维度逼近数据。
2. 截断SVD - 可以证明计算这些坐标系的方法之一是使用SVD。因此，这是应用PCA背后思想的方法。
3. 独立分量分析（ICA） - 这是离PCA更远的一步。在PCA中，我们仅处理ICA中数据的一阶矩（相关性），我们正在研究更高的时刻，并试图找到消除较高时刻的数据投影（考虑缺乏相关性与概率独立性）。