0
我一直在面对奇怪的情况一段时间了，需要关于这方面的指导。如何降低谷歌和bing在magento网站上爬行时的CPU利用率？
问题： 由于过去两天，我们正在经历非常缓慢的网站相比，这是什么，当我们推出的服务器。我们认为这是temperory问题。但现在，它已经死了缓慢&一页需要至少3分钟才能加载。我也检查了CPU的使用率达到了100％，并认为爬行可能会这样做。
我们使用一些第三方做我们的SEO和谷歌我们的Magento网站的动态再行销和广告。我坚信这些东西需要爬行我的网站索引搜索引擎。
我已经看到，谷歌和必应定期抓取我们的网站。你可以称它为谷歌机器人和僵尸机器人，并突然它看到了最大的高峰。
看一看截图： https://www.dropbox.com/s/2c4u04rhtbi99j0/Screenshot%202015-11-14%2014.16.41.png?dl=0
与最大的尖峰由冰所引起，并在同一时间谷歌和较小的似乎只能是谷歌机器人。
所以我只是有这方面一个问题吗？
你们认为如果一个僵尸IP被列入白名单，我们是否会遇到搜索引擎优化和谷歌广告和动态再营销的问题，因为那样它就不允许这个IP在我们的网站上爬行？
这是一个垃圾邮件或漫游器抓取我们的商店，导致商店响应时间减少，这可能会影响我们商店的搜索引擎排名和转换？
大型实例类型的AWS可以帮助我们解决我们的CPU使用问题吗？ 注意：我们已经在使用m3.large实例类型。
问题与搜索引擎是他们爬的一切，这基本上意味着您网站上的服务拒绝攻击。您可以实施像CloudFlare（便宜）或Akamai（昂贵）这样的CDN，这可能会减少部分负载。如果您已经在AWS上，那么CloudFront可能也是一个不错的选择... –
好的，将使用cloudfront，然后查看，但是，如果我们加载css，js n媒体，皮肤文件夹，Cloudfront可以提供帮助吗？它。我知道一些基础知识，虽然我不是AWS的SysOps中的专家，但在系统管理方面并不是那么好.. –
从另一方面确保服务器配置良好（缓存层，php，Nginx，数据库，文件系统）。所以为了帮助你在这里发布配置文件和日志在这里请。 Nginx中的缓存层可以显着减少数据库和文件系统的负载。 – Anatoly