网络爬虫应用

Question

任何人都可以推荐一个网站爬虫，可以显示我的网站中的所有链接？

Answer 1

Xenu是我找到的最好的链接检查工具。它会检查所有链接，然后给你一个选项来查看或导出它们。它是免费的，你可以从他们的网站下载它http://home.snafu.de/tilman/xenulink.html。

Answer 2

只要您是该网站的所有者（即您拥有所有文件），Adobe Dreamweaver就可以生成所有内部外部链接的报告，并报告所有损坏的链接（孤立文件）。但是，您必须先在Dreamweaver中设置您的网站。

Answer 3

W3C有最好的一个，我发现

http://validator.w3.org/checklink

Answer 4

如果你需要做的链接的任何后期处理，我建议任何机械化的许多变种。

在Ruby：

require "rubygems" 
require "mechanize" 
require "addressable/uri" 

processed_links = [] 
unprocessed_links = ["http://example.com/"] # bootstrap list 
a = WWW::Mechanize.new 
until unprocessed_links.empty? 
    # This could take awhile, and depending on your site, 
    # it may be an infinite loop. Adjust accordingly. 
    processed_links << unprocessed_links.shift 
    a.get(processed_links.last) do |page| 
    page.links.each do |link| 
     link_uri = Addressable::URI.parse(link).normalize 
     # Ignore external links 
     unprocessed_links << link_uri.to_str if link_uri.host == "example.com" 
    end 
    end 
end 

大意的东西。

Answer 5

Larbin ...需要一点C++编码，但它是完美的高性能网络爬虫基础，可用于基本上做所有事情，从linkwalking到indexnig到数据采集。