我有一个网站,我将我的流量分成两个用户组“学习者”和“教师”。我将他们的用户组保存在一个会话变量中,并将他们引导到他们网站的相关部分。SEO cookie重定向
我遇到搜索引擎不索引网站的问题,因为他们没有设置user_type cookie。有没有一种方法可以让搜索引擎抓取工具访问网站的两个部分(目前它陷入了从user_type选择页面到主页的循环中)。
我也非常希望能够允许的唯一成员,资源爬虫访问,因为将是学习驾驶者将能够访问我宁愿只访问一次登录的内容。
的代码检查会话变量USER_TYPE低于,被称为在每个页面上(所以为什么没有被越来越爬)
if($check_exists==TRUE) {
$this->session->set_userdata('referrer', current_url());
if (strlen($this->session->userdata('user_type'))==0) {
redirect('/user_type/');
}
} else if($check_exists==FALSE) {
if (strlen($this->session->userdata('user_type'))>0) {
redirect('/home/');
}
}
为什么你想要一个需要登录的内容才能被一个网络爬虫编入索引? – thatidiotguy