检查网站是否以最快的方式可用

foreach($links as $link_content) 
{ 
    $handle = curl_init(LINK_BASE.$link_content); 
    curl_setopt($handle, CURLOPT_RETURNTRANSFER, TRUE); 
    $response = curl_exec($handle); 
    $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE); 
    if($httpCode != 200) 
    continue; //if not, go to next link 
}

我需要分析350个链接并检查它们是否可用（返回HTTP代码200）。目前我使用上面编写的代码。不幸的是，这个操作需要很长时间 - 超过2-4分钟。我必须以最快的方式检查每个链接。你能给我任何建议吗？检查网站是否以最快的方式可用

来源

2015-01-08 TN888

重定向con sidered“可用”？ – T0xicCode

嘿，这不是代码服务的给我。这是一个让人们相互帮助的社区。不是让别人免费完成工作的地方。 –

你已经应该熟悉这个概念。你已经获得了很多积分。 –

我想说，您只需使用CURLOPT_NOBODY发出HTTP HEAD请求，而不是按照您当前所做的那样提取整个内容。该代码，这看起来像：

foreach($links as $link_content) 
{ 
    $handle = curl_init(LINK_BASE.$link_content); 
    curl_setopt($handle, CURLOPT_RETURNTRANSFER, TRUE); 
    curl_setopt($handle, CURLOPT_NOBODY, TRUE); // make HEAD 
    $response = curl_exec($handle); 
    $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE); 
    if($httpCode != 200) 
    continue; //if not, go to next link 
}

如果这并没有减少时间根据需要尽可能多的，你也可以考虑使用curl_multi功能并行您的要求。您可以随时查看我创建的简单的基于卷曲的REST类，以获取有关如何执行curl_multi的更好示例。欢迎您随意使用该课程 - https://github.com/mikecbrant/php-rest-client

来源

2015-01-08 20:57:13

你可以给我代码，我该怎么做？ – TN888

来吧@ Ty221。你知道* SO不是一个编码服务。 –

@JayBlanchard我发现已经... – TN888

您可以单独启动该PHP代码的多个实例。想象一下10个并行实例的时间增益！

创建crawler.php文件，如下：

<?php 
$fileName = argv[1]; 
$fh = fopen($fileName, "r"); 
while($link_content = fgets($fh) !== FALSE) { 
    $handle = curl_init(LINK_BASE.$link_content); 
    curl_setopt($handle, CURLOPT_RETURNTRANSFER, TRUE); 
    $response = curl_exec($handle); 
    $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE); 
    if($httpCode != 200) { 
     // log/output the bad URL 
    } 
} 
?>

创建一个批处理文件crawler.bat（如果你是Windows下），并把这个代码：

php PathToCrawler/crawler.php %1

现在你必须在不同的发布网址文件并连续启动此控制台：

crawler.bat UrlFileFrom1TO100.txt 
crawler.bat UrlFileFrom101TO200.txt 
crawler.bat UrlFileFrom201TO300.txt 
crawler.bat UrlFileFrom301TO400.txt 
...

来源

2015-01-08 21:02:23

同样的事情，请给我一些代码 – TN888

更好的办法是使用'curl_multi'来管理单个执行线程中的多个并行curl请求。 –

检查网站是否以最快的方式可用

回答

相关问题