Rails 3从另一个网站拉取数据

Question

我在我的一个项目上有一个客户端请求，他们希望能够输入一个url并让它从网站输入的url中抽取一些信息并将其保存在数据库中。

因此，用户输入：http://www.example.com/2342342和我的控制器访问该站点，并获取站点上第一个<h1>Tag</h1>的内容并将其保存在数据库中。这可能吗？如果是这样，我该如何去做呢？我会使用一些rails命令来做到这一点，或者其他的东西，比如jQuery？

Answer 1

Nokogiri是一个很好的解析器，可以直接使用url。

所以两个步骤有：

1. 实例化一个引入nokogiri对象与URL作为PARAM

2. 解析HTML页面，让你期待

在这里找到说明什么： http://nokogiri.org/tutorials/parsing_an_html_xml_document.html

因为你会使用anot她的网站，记住一点建议：

• 包装你的查询，这样就可以挽救，如果网站已关闭

• 考虑使用AJAX请求，因为它可能很长

Answer 2

我会在这里结帐Railscast：

http://railscasts.com/episodes/190-screen-scraping-with-nokogiri

这很好的解释了如何使用Nokogiri并从其他网站上删除内容。