如何找到大量功能的相似性

Question

我不知道如果我是在正确的地方问问题，因为我是新的stackoverflow，请移动如果需要。

我正试图解决Flickr数据集的链接预测问题。我的数据集有5K个节点，每个节点有大约27K个特征，它很稀疏。

我想找到节点之间的相似性，以便我可以预测它们之间的链接，如果相似度值大于我决定的某个阈值。问题在于功能的数量。我无法加载Weka中的文件（尝试通过某些信息增益或某事来减少功能，然后尝试群集或检查余弦相似性度量）

还有一个问题是，如何将此定义为分类问题？我想为两个节点找到重叠的标签，所以表中包含节点和它们的一些特征（将有成千上万个），并且它们都将是正类，因为我知道它们之间存在链接。

我想用一些节点创建一个测试数据集并创建类似的表并将它们标记为正类或负类。但我的问题是我拥有的所有数据都是正面的，所以我认为它永远不会被标记为负面。如何正确地将其更改为分类问题？

任何指针或帮助非常感谢。

Answer 1

Weka可以处理27K的特征，它不应该成为一个问题......但是，我将这个问题作为分类问题来处理，但是链接发现之一，在这种情况下可以看作是一个匹配问题。

我的做法是：1。 新节点出现 2.搜索最相似的元素 3.认为它们是相关（有链接）如果相似度比你的阈值。

主要问题是根据某种质量度量调整阈值。

对于这种方法，Lucene可能是最好的选择。

我希望这会有所帮助。