抓取网站和动态网址

搜索引擎机器人会抓取我动态生成的网址吗？有了这个，我的意思是根据url中的GET变量由php生成的html页面。这些链接应该是这样的：抓取网站和动态网址

http://www.mywebsite.com/view.php?name=something 
http://www.mywebsite.com/view.php?name=somethingelse 
http://www.mywebsite.com/view.php?name=something

我试图抓取我的网站，发现这里的测试履带：http://robhammond.co/tools/seo-crawler但它只能访问我的视图页面一次，在头球攻门稍稍一个变量。

我的网站上的大部分内容都是由数据库中的这些GET变量生成的，因此我真的很希望搜索引擎抓取这些网页。

来源

2015-02-06 Simon H

我投票结束这个问题作为题外话，因为纯SEO问题不是编程相关的。它可能是[Webmasters]的主题（http://webmasters.stackexchange.com/help/on-topic）。 – Quentin 2015-02-06 16:26:36

我会使用'.htaccess'文件为您的网站提供一些漂亮的网址，形式为'www.mywebsite.com/something'，这对用户来说更容易输入，对于爬虫更直观。 – halfer 2015-02-06 16:28:56

一些搜索引擎可以，有些不会。谷歌为一个不包括动态生成的页面：https://support.google.com/webmasters/answer/35769?hl=en

一定要检查你的的robots.txt文件，以确保你不希望爬虫看到被阻止的文件，将文件你做希望编入索引没有被阻止。

另外，请确保您要索引的所有网页都通过其他网页链接，您拥有网站地图或将单个网址提交给您要为网站编入索引的搜索引擎。

来源

2015-02-06 16:32:34

是的，搜索引擎会抓取这些网页，假设他们可以找到它们。最好的做法是简单地创建指向您网站上这些页面的链接，尤其是可访问的页面，或者至少可以从主页进行浏览。

来源

2015-02-06 16:34:02 drj

抓取网站和动态网址

回答

相关问题