2017-02-15 74 views
0

我需要perevent Alexa和类似的网站访问我的网站完全。 我知道这可以通过robots.txt完成,但据我所知这还不够,它们是通过简单扩展或类似的方式收集数据。如何阻止Alexa和类似的网站访问网站

任何想法或解决方案?

预先感谢您。

回答

0

你需要阻止theire机器人使用robots.txt

  • Alexa的机器人:ia_archiver

这是你如何阻止它:

User-agent: ia_archiver 
Disallow:/

你需要找到的名字所有你想阻止的机器人。这很简单,只需使用Google搜索