如何自动下载网站的html源代码

Question

是否有人知道任何程序，我可以输入一个域名，该程序将抓取整个域，并能够为我下载所有的HTML源代码 - 所以如果网站在页面上有链接，它只会抓取到域名上的页面，而不是显式地向外部域名。

Answer 1

看scrapy为蟒蛇：

http://www.scrapy.org

或crawler4j为Java：

http://code.google.com/p/crawler4j/