0
使用cUrl下载网站时遇到了一些麻烦。像网络浏览器那样的卷曲下载网站
问题网站:cell。 COM
现在它遵循所有重定向,e.g:
curl -L http://cell. com -o test.html -v
...但是通过cUrl作者创建的文件比我的浏览器是能拉什么完全不同。
希望能够帮助您了解如何使用cUrl重新创建浏览器的行为。
使用cUrl下载网站时遇到了一些麻烦。像网络浏览器那样的卷曲下载网站
问题网站:cell。 COM
现在它遵循所有重定向,e.g:
curl -L http://cell. com -o test.html -v
...但是通过cUrl作者创建的文件比我的浏览器是能拉什么完全不同。
希望能够帮助您了解如何使用cUrl重新创建浏览器的行为。
我解决了这个问题。
那个有问题的网站使用cookies,然后在那个行为重定向到另一个有另一个Javascript重定向的页面。
无论如何,解决方案是使用CookieJar和写入cookie的一个文件:
curl -L http://cell. com -o test.html -c cookie_filename
希望帮助的人来到这里的未来。
这应该得到你的目标页面的html并写入'test.html'。你取而代之的是什么? – meatspace
我得到一些脚本标签的空白页面,而不是真正的页面包含。 – soiepark
curl不理解javascript。也许phantomjs会更适合你的需求? – meatspace