是否有执行Ajax和不使用一种自动的Web浏览器或没有外部库做旧的方式 检索结果AJAX一个简单的方法? 它有一些先进的算法,它做到这一点?网络爬虫抓取基于AJAX的链接没有浏览器
0
A
回答
0
我不知道有什么方法可以做到这一点,无需任何外部库,但为的HtmlUnit大(java写的),有一个C#包装,你可以试一下:https://github.com/HtmlUnit/NHtmlUnit
0
尝试Nutch的。一般来说,所有不受robots.txt限制的内容,不需要用户输入,都可以通过抓取工具进行抓取。
2
没有。 JS代码需要在本地编译,然后在本地执行。
代码:https://svn.arachnode.net/svn/arachnodenet/trunk/Renderer/ UN/PW:公共/公共
您可以从SVN客户端获取路径,去掉Arachnode *引用,并有一个快速的JavaScript解释器。它使用mshtml.dll,它支持为.NET WebBrowser控件提供动力的AxShDocVw.dll,比.NET控件快大约6倍。
https://svn.arachnode.net/svn/arachnodenet/trunk/Renderer/HtmlRenderer.cs首先仔细阅读该文件。
谢谢, 迈克
相关问题
- 1. 抓取基于链接的网页爬虫/蜘蛛链接
- 2. 基于ajax的网站的php爬虫?
- 3. 网络爬虫
- 4. 网络爬虫提取
- 5. 。基于网络的网络爬虫示例
- 6. 网络爬虫抓取并非所有URL
- 7. Python网络爬虫没有输出
- 8. 浏览器限制是否影响网络爬虫?
- 9. 抓取一些链接后网站禁止爬虫
- 10. C++网络爬虫
- 11. PHP网络爬虫
- 12. Python网络爬虫
- 13. java网络爬虫
- 14. 网络爬虫类
- 15. 在抓取的文件存储在Heritrix的网络爬虫
- 16. php爬虫(抓取单个网站)
- 17. Python的网络爬虫:连接超时
- 18. 网络爬虫的功能
- 19. 网络爬虫的Java
- 20. 简单的网络爬虫
- 21. Python中的网络爬虫
- 22. PHP网络爬虫不会抓取.php文件
- 23. 网络抓取链接表
- 24. Gevent链接爬虫
- 25. PHP与Python对于网络爬虫
- 26. 网络爬虫是否仅依靠主页上的链接来进行爬网?
- 27. 自动网络爬虫
- 28. 网络爬虫,反馈?
- 29. 递归网络爬虫perl
- 30. 需要网络爬虫
感谢小费,我会试试看。 – 2013-02-16 09:47:27