屏幕截图很多网页

Question

我想使用phantomjs截图很多页面。

的问题是如何处理，如果我有1000多页，因为在下面的代码当下崩溃phantomjs：

这是aobj一个例子：

var aobj = '[{"kb":21.047829999999976,"jb":52.174250000000015,"ff":110.16456426650427},{"kb":21.047997078651633,"jb":52.17421235955058,"ff":110.16456426650427},{"kb":21.048164157303404,"jb":52.17417471910114,"ff":110.16456426650427},{"kb":21.04833123595506,"jb":52.1741370786517,"ff":110.16456426650427},{"kb":21.048498314606718,"jb":52.174099438202255,"ff":110.16456426650427},{"kb":21.04866539325849,"jb":52.17406179775282,"ff":110.16456426650427},{"kb":21.048832471910146,"jb":52.17402415730338,"ff":110.16456426650427},{"kb":21.048999550561803,"jb":52.173986516853944,"ff":110.16456426650427}]' 

...和代码的更

休息：

aobj = JSON.parse(aobj); 

function tes_par(nrr,jbb,kkb,hhf) 
{ 
var page = require('webpage').create(); 
page.viewportSize = { width: 600, height: 480 }; 
console.log(nrr); 
page.open('http://maps.googleapis.com/maps/api/streetview?size=640x480&location='+jbb+','+kkb+'&pitch=-0.760&sensor=false&heading='+hhf, function() 
{ 
    page.render(nrr + '.png');  
}); 
} 

for (var i=0;i<aobj.length;i++) 
{ 
tes_par(i,aobj[i].jb,aobj[i].kb,aobj[i].ff); 
} 

我认为这是因为JS一次只能运行一个代码，所以它会占用所有资源，但我不知道如何等待page.open和page.render并等待有多于1000个这些功能的调用。

我还试图用setTimeout的，但同样没有成功：

aobj = JSON.parse(aobj); 

function tes_par(nrr,jbb,kkb,hhf) 
{ 
var page = require('webpage').create(); 
page.viewportSize = { width: 600, height: 480 }; 
console.log(nrr); 
page.open('http://maps.googleapis.com/maps/api/streetview?size=640x480&location='+jbb+','+kkb+'&pitch=-0.760&sensor=false&heading='+hhf, function() 
{ 
    page.render(nrr + '.png');  
}); 
} 


function aa_bb(ii) 
{ 
var jj=0; 
(ii+500<aobj.length) ? jj=ii+500 : jj=aobj.length; 
for (var i=ii;i<jj;i++) 
{ 
tes_par(i,aobj[i].jb,aobj[i].kb,aobj[i].ff); 
} 
}; 

aa_bb(1); 
setTimeout(function(){aa_bb(501)},120000); 

Answer 1

尝试调用后，每个渲染page.close()。 docs提到重新使用同一个对象而不关闭可以防止垃圾收集。

Answer 2

请参阅Using Multiple page.open in Single Script。基本的想法是，你打开传递给前一页打开的函数结尾处的下一页。否则，你会立即打开一大堆页面，并发生混乱。

aobj = JSON.parse(aobj); 
var page = require('webpage').create(); 
page.viewportSize = { width: 600, height: 480 }; 

function tes_par(nrr,jbb,kkb,hhf) 
{ 
    console.log(nrr); 
    page.open(
     'http://maps.googleapis.com/maps/api/streetview?size=640x480&location='+jbb+','+kkb+'&pitch=-0.760&sensor=false&heading='+hhf, 
     function() 
     { 
      page.render(nrr + '.png'); 
      setTimeout(function(){next_thingie(nrr+1);},100); 
     } 
    ); 
} 

function next_thingie(i) 
{ 
    if(i>=aobj.length){return;} 
    tes_par(i,aobj[i].jb,aobj[i].kb,aobj[i].ff); 
} 

next_thingie(0); 

更新

上面的代码已经从早期版本改变了，之后我回顾我自己的代码（工作），并发现我没有正确地应用它解决这个问题。更改包括：

1. 仅创建页面一次。

2. 使递归调用下一页在page.open函数。

3. 使用一点暂停来帮助PhantomJS屏住呼吸。

这种方法适用于从约80个文件中捕获约300个屏幕截图。