只允许Google CSE并且不允许在ROBOTS.txt中使用Google标准搜索

Question

我有一个网站我正在使用Google自定义搜索引擎。我希望Google CSE抓取我的网站，但我希望它能够避开常规Google搜索的结果。我把这个在我的robots.txt文件希望，因为我指定的网页，我想谷歌CSE在设置

User-agent: * 
Disallow:/

我猜谷歌CSE机器人也必须服从机器人抓取谷歌CSE机器人会忽略它。文本。那么是否有办法让我的网页远离搜索引擎搜索，但Google CSE仍然能够对其进行索引？ TIA！

Answer 1

这个问题没有解决方案，符合你想要的。我也有相同的情况，我只需要自定义搜索。不幸的是，谷歌的crawlers列表没有显示谷歌自定义搜索的特定机器人。阻止Googlebot会同时杀死本地搜索和自定义搜索。