网站挖掘工具

Question

这里提出的许多问题都与我正在做的研究有关。这些问题和答案分布广泛，并不总是很容易找到，做手动浏览，有时在无关的主题中也会出现有见地的答案或评论。

我想自动找到这些相关的Q's & A，根据关键词集合，然后使用这些信息作为进一步深入研究的指针。

我可以使用哪些工具，最好是开源的，可以用于这种类型的网站挖掘？我不是一个web大师&我尝试开发他们需要很长的时间，并在时间，我可以在我的[R花& D.

影响

Answer 1

从你的问题来看，你是否是程序员并不清楚，所以我不确定你是否在应用程序或服务的意义上使用了你想要的工具，或者库，使网站挖掘更容易。

如果后者是这种情况，你使用红宝石，我可以彻底推荐WWW::Mechanize。它提供了一个很好的API用于编写脚本来搜索网页（通过DOM或文本），跟随链接并填写表单。我已经多次使用它来组织在网站内的多个网页上传播的信息。

我相信红宝石版本是基于早期的library for perl，但我不能担保perl版本，我没有使用它。

Answer 2

人类互动的工具可能是在这种情况下有用的（没有发展成本，可能是更一致的结果，以及不断变化的要求）。

夫妇想到：

• Mechanical Turk。
• Time Svr（更贵） - experiment/review。

Answer 3

所有基于关键字的标签都附有RSS源，所以我会先订阅相关关键字并搜索数据。这似乎是找到相关概念和其他相关关键字的最简单方法。

Answer 4

另一种选择是使用Yahoo! Pipes。 （demo）

您可以使用供稿网址，过滤器等的组合来在线可视化地构建这样的系统...与编程相比，学习时间是最小的。 [编辑：时态]