许多尺寸的可还原尺寸减少

Question

是否有一个尺寸减小技术列表可逆（我可以在子流形和原始空间之间来回移动）并且可以很好地扩展到大尺寸（> 100万尺寸）？矢量非常稀疏。理想情况下，我可以在少数示例中找到一个感兴趣的子空间（减少至约10k维），然后在子空间上训练类似自编码器的内容以进行精细控制。

• 由于具有> 1M输入大小的FC层变得非常难以记忆明智，所以直接进行自动编码器可能不在图中。
• PCA是一个选项，但具有巨大的内存占用。
• 随机投影似乎没有办法恢复到原始空间？

谢谢！从scikit-learn

Answer 1

两名候选人（可能有更多）：

• Incremental PCA：批量样
• Truncated SVD：稀疏

有更多的支持inverse_transform，但我只花了的那些支持稀疏输入或批量操作。

即使使用稀疏输入，保持10k维度听起来内存密集程度也很高。