我将如何去下载和执行(即评估Javascript,构建DOM)每分钟超过1000个XHTML文档?在浏览器环境中执行1000+页/分钟
一些轮廓/约束:
- URL中下载在不同的服务器。
- 我需要遍历 - 并理想地修改生成的DOM。
- 对渲染图形不感兴趣。
- 带宽不是问题。
- 过度庞大的硬件并行化将成为更大的问题。
- 生产环境是.NET。
我不关心下载页面。我估计实际删除页面是一个瓶颈。 .NET有一个内置的Web浏览器对象,但我不知道它是否会在单个机器上扩展。另外,.NET并不是一个绝对的需求,但它可以让这里的集成更容易。
我的任何意见/指针很感激有关:
- 哪个浏览器API是最适合做这个?
- 浏览器是正确的方式 - 也许有一个更轻量级的方式来执行Javascript是最重要的部分(但不提供DOM)?
- 现有的产品/服务 - 无论是开源还是商业 - 都可能完成这项任务?
- 大概每分钟有多少页面可以在单个机器上处理(每个人有3个Chrome渲染商业广告)?
- 任何缺陷之一是可能遇到...
谢谢你在前进,
/大卫
开始通过购买一个非常,非常大的电脑:-)如果你不这样做,在浏览器中,这将是真的很难保证页面正常工作;任何JavaScript代码*都很可能假定它可以执行正常的DOM操作。 – Pointy 2011-02-01 15:11:35
哦,吞吐量肯定要取决于这些“页面”的指标和JavaScript代码的性质。 – Pointy 2011-02-01 15:14:10