这个robots.txt文件只允许googlebot索引我的网站的index.php文件吗？警告，我有一个htaccess重定向谁在这个robots.txt会只允许googlebot为我的网站编制索引吗？
http://www.example.com/index.php
型的人会被重定向到简单
http://www.example.com/
所以，这是我的robots.txt文件的内容...
User-agent: Googlebot
Allow: /index.php
Disallow:/
User-agent: *
Disallow:/
在此先感谢！
不是。
好机器人
只有“好”机器人按照robots.txt说明（不是所有的机器人和蜘蛛懒得读/跟随robots.txt）。这可能甚至不包括所有主要的搜索引擎的机器人，但它绝对意味着一些网络爬虫将完全忽略你的请求（你应该看看使用.htaccess或密码保护，如果你真的想阻止漫游器/爬虫看到部分您的网站）。
第二次检查
Google会多次访问您的网站，包括作为浏览用户出现。第二次访问将忽略robots.txt文件。第二次访问可能实际上没有索引（如果这是你的担心），但它确实检查以确保你没有试图欺骗索引机器人（对于SEO等）。
这就是说你的语法是正确的......如果这就是你要问的一切，那么是的，它会工作，只是不如你可能希望。
如果没有重定向，Googlebot不会看到您的网站，但index.php除外。
重定向，它取决于机器人如何处理重定向以及您的htaccess如何进行重定向。如果您返回302，Googlebot将会看到http://www.example.com/，针对robots.txt进行检查，而不会看到主网站。即使您进行了内部重定向，并告诉Googlebot响应页面为http://www.example.com/，它也会看到该页面，但可能不会将其编入索引。
这是有风险的。为了确保谷歌索引你的主页做这个：
User-agent: *
Allow: /index.php
Disallow: /a
Disallow: /b
...
Disallow: /z
Disallow: /0
...
Disallow: /9
所以你的根“/”将不符合禁止规则。
此外，如果您的AdSense不要忘记添加
User-agent: Mediapartners-Google
Allow:/