刮网站 - 这甚至可能吗？

-2

我想从LPS网站提取北爱尔兰房产的价格值http://lpsni.gov.uk/vListDCV/search.asp?submit=form 刮网站 - 这甚至可能吗？

我是一个合理的PHP程序员，但我不知道如何去做这件事。为了做到这一点，有人能够指出我需要了解的方向吗？

它甚至可以做我想要的东西吗？

2012-02-13 hugo the hippo

Scrapy是我最喜欢的工具 - http://scrapy.org/ – 2012-02-13 16:58:06

访问自动化违反了标准的'.gov.uk'网站EULA。在这里处理类似的事情也有很多问题，还有数以千计的在线文章。对于“PHP网络蜘蛛”或“PHP下载网址”的快速谷歌会给你你需要的一切。 – Polynomial 2012-02-13 16:58:27

使用Php刮擦数据是冗长且代码驱动的。您编写脚本并从站点提取数据，但我建议自动化该过程。

来源

2012-02-18 10:31:15

是的，这是非常有用的。指针：忽略试图通过表单，所有的数据可以通过从http://lpsni.gov.uk/vListDCV/districts.asp静态链接到达，因为所有的属性都是固定的，它仅仅是一个刮每一层的链接来建立在循环内的循环例如：councils-病房 - 街道等等，直到你最终得到肉，然后用cURL或者甚至只是file_get_contents将它拉出来，然后将你不想要的那些数据正则化。存储供以后在数据库中使用。

来源

2012-02-18 14:30:41 Skizz

刮网站 - 这甚至可能吗？

回答

相关问题