为什么“PHP Simple HTML DOM解析器”有时无法解析HTML body？

我正在使用的库是：PHP Simple HTML DOM Parser v1.5.0 为什么“PHP Simple HTML DOM解析器”有时无法解析HTML body？

与一些网址，它的str_get_html（）和file_get_html（）调用将返回false。例如：

$html = HtmlDomParser::file_get_html('http://finance.yahoo.com/');

我该如何解决这个问题？

来源

2015-11-01 Jason M

使用他们的财务api而不是刮页面，问题解决了。 – 2015-11-01 21:23:15

@Dagon，你假设我试图抓取财务数据;但我想要做的是刮页数据。另外，这只是我遇到的最近的一个例子。其他网址也是这样。 –

我会强烈建议使用[DOMDocument]（http://php.net/manual/en/class.domdocument.php） – Machavity

简单的HTML DOM解析器supports invalid HTML。但问题可能是加载雅虎页面，页面上的各种转发......卷曲可以应付的所有事情。如此快速，肮脏，可能是处理这种情况的最糟糕方式是使用变通方法 - 使用cURL加载页面内容，然后使用Simple HTML DOM代码解析变量。

事情是这样的：

<?php 
include('simple_html_dom.php'); 

$search_url = 'http://finance.yahoo.com/'; 

function bCurl($url) { 

    $cookie_file = "cookie1.txt"; 

    $header = array(); 
    $header[] = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5'; 
    $header[] = 'Cache-Control: max-age=0'; 
    $header[] = 'Connection: keep-alive'; 
    $header[] = 'Keep-Alive: 300'; 
    $header[] = 'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7'; 
    $header[] = 'Accept-Language: en-us,en;q=0.5'; 
    $header[] = 'Pragma: '; 
    $ch = curl_init(); 
    curl_setopt($ch, CURLOPT_URL, $url); 
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.11) Gecko/2009060215 Firefox/3.0.11 (.NET CLR 3.5.30729)'); 
    curl_setopt($ch, CURLOPT_HTTPHEADER, $header); 
    curl_setopt($ch, CURLOPT_AUTOREFERER, true); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); 
    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); 
    curl_setopt($ch, CURLOPT_ENCODING, ''); 
    curl_setopt($ch, CURLOPT_TIMEOUT, 20); 
    $result = curl_exec($ch); 
    curl_close ($ch); 

    return $result; 
} 

$result = bCurl($search_url); 

$html = new simple_html_dom(); 
$html->load($result); 

$keywords = $html->find("meta[name=keywords]",0)->getAttribute('content'); 

print_r($keywords); 
?>

妥善解决可能会被分析雅虎财经页面，查看发生了什么事情在那里，分析转发和抗刮机制，JavaScript和Flash对象......但是，嘿，我们都像这样的即时，快速和肮脏的解决方案，对不对？ ;）

来源

2015-11-01 22:09:45 6opko

为什么“PHP Simple HTML DOM解析器”有时无法解析HTML body？

回答

相关问题