Facebook规范URL导致没有爬行

我对我们的Facebook OG标签的问题感到生气，而且我的大学没有任何人可以帮助我。问题是：我们使用TYPO3扩展来完全按照Facebook最佳实践规则中的要求生成开放图形元标记。所以在我们的主页上meta标签看起来像这样：Facebook规范URL导致没有爬行

<meta property="fb:app_id" content="1076994975680778" /> 
<meta property="og:title" content="Startseite" /> 
<meta property="og:type" content="website" /> 
<meta property="og:image" content="https://www.syncomnet.com/template/Resources/Public/images/icons/scn_facebook.png" /> 
<meta property="og:image:type" content="image/png" /> 
<meta property="og:image:width" content="250" /> 
<meta property="og:image:height" content="250" /> 
<meta property="og:url" content="https://www.syncomnet.com/home.html" /> 
<meta property="og:site_name" content="SynComNet" /> 
<meta property="og:description" content="Personalplanung/Personaleinsatzplanung/Dienstplan mit PersPlanNet ERP Software von SynComNet" /> 
<meta property="og:locale" content="de_DE" />

问题是，Facebook机器人根本不抓取页面。它导致一个完全空白页面抓取我们的网页后，你可以在这里看到：

https://developers.facebook.com/tools/debug/echo/?q=https%3A%2F%2Fwww.syncomnet.com%2Fhome.html

当我现在复制网页的整个源代码，并将其粘贴在一个静态的test.html，爬虫获取页。我必须要改变的唯一事情是在OG规范网址：URL元属性...

<meta property="og:url" content="https://www.syncomnet.com/test.html" />

...和机器人工作没有任何问题。

https://developers.facebook.com/tools/debug/echo/?q=https%3A%2F%2Fwww.syncomnet.com%2Ftest.html

的问题是，由CMS生成的所有网页都不会以任何方式抓取。我还通过只允许“/”来测试robots.txt是否是问题，但这没有影响。错误在哪里？非常感谢！

来源

2016-07-12 NPofficial

我现在更接近一点：Facebook机器人似乎无法处理gzip压缩。

如果我注释掉在我的.htaccess中的以下部分...

<IfModule mod_filter.c> 
    AddOutputFilterByType DEFLATE application/atom+xml \ 
     application/javascript \ 
     application/json \ 
     application/ld+json \ 
     application/manifest+json \ 
     application/rdf+xml \ 
     application/rss+xml \ 
     application/schema+json \ 
     application/vnd.geo+json \ 
     application/vnd.ms-fontobject \ 
     application/x-font-ttf \ 
     application/x-javascript \ 
     application/x-web-app-manifest+json \ 
     application/xhtml+xml \ 
     application/xml \ 
     font/eot \ 
     font/opentype \ 
     image/bmp \ 
     image/svg+xml \ 
     image/vnd.microsoft.icon \ 
     image/x-icon \ 
     text/cache-manifest \ 
     text/css \ 
     text/html \ 
     text/javascript \ 
     text/plain \ 
     text/vcard \ 
     text/vnd.rim.location.xloc \ 
     text/vtt \ 
     text/x-component \ 
     text/x-cross-domain-policy \ 
     text/xml 
</IfModule>

... Facebook的刮板工作正常。问题：这部分是TYPO3默认的。我现在正在寻找我自己的如何为Facebook机器人添加例外。

来源

2016-07-12 10:44:15 NPofficial

Facebook规范URL导致没有爬行

回答

相关问题