VB 2010 - 获取与列表框中的网站相关的所有链接

Question

因此，我正在制作一个程序，提示用户输入网址并对程序进行分析，并为您提供与网站相关的所有文件/链接，有点像当你使用实时的HTTP头（你可以获得所有的图像链接）。 所以如果网站google.com会列出此 - > www.google.com www.google.com/banner.jpg www.google.com/file.js www.google.com/news.doc

例如： 1）用户进入该网站，并开始分析 2）程序将列出所有网站文件 3）在列表框中输出的数据

我无法做到这一点，因为我没有理论代码。

Answer 1

对于初学者来说，你可以做这样的事情来获得HTML，然后使用HTML Agility Pack得到你需要的东西：

Imports System.Net 
Imports System.IO 

Public Class Form1 

    Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click 

     Dim myurl As String = "http://www.stackoverflow.com" 
     Dim wc As WebClient = New WebClient() 
     Dim reader As StreamReader = New StreamReader(wc.OpenRead(myurl)) 
     doSomethingToMyHTML(reader.ReadToEnd) 

    End Sub 
    Private Sub doSomethingToMyHTML(textinput As String) 
     'get what you want with HTML Agility Pack 
    End Sub 
End Class 

Answer 2

您正在尝试构建的内容在其他情况下称为网络爬虫。

这个网站有一个很好的解释和一些代码示例： http://www.developerfusion.com/article/84330/building-a-web-crawler/