5
我使用YQL控制台和我“重定向到robots.txt限制的URL”错误的谷歌域名想从这个link in Google ShoppingYQL
返回结果使用YQL以下几点：
select content from html where url="www.google.com/products/seller?hl=en&q=burkett+restaurant+equipment+reviews&tbo=u&tbm=shop&zmi=basequipment.com&cmi=12986189937115136" and xpath="//body"
它是说：“重定向到一个robots.txt受限制的URL”，并不会显示任何结果，任何方式来解决这个问题？
谷歌[问机器人切勿触摸数据（http://www.google.com/robots.txt）和雅虎！尊重他们的要求。所以不应该有技术方法。我希望他们的条款和条件也禁止您以这种方式访问数据，因此您也处于不稳固的法律地位。 – Quentin 2012-02-08 20:33:57