有没有基于互信息的特征提取方法？

Question

我得到了一个数据集D = {X，y}，它有800个输入特征和单个连续输出。我要寻找满足两个条件

任何特征提取方法

（1）Matlab的代码可供下载

（2）。该方法应该以某种方式将输入x映射到经变换的输入z，其中z是d向量，使得z_i和y之间的互信息尽可能高。

我认为这些方法应该与CCA相关，但是当执行CCA（X，y）时，我将获得只有一个维度的向量z。我希望这些方法应该可以选择像PCA那样的顶级功能。

感谢，

Answer 1

这是“信息Buttleneck”的问题，它可以在某些情况下，在EM-像迭代算法或试探性地通过贪婪，凝聚聚类过程中需要解决的框架。

有用的参考资料：

• Wikipedia
• Paper
• Matlab代码：(1) by G. Chechik或(2) in the VLfeat library

事实上它深深关系到CCA;在对问题（即高斯性）的某些假设下，这种关系可以做到精确（参见维基百科链接和this paper）。