dryscrape

0热度

2回答

我试图使用dryscrape和python为学习目的而刮掉http://quotes.toscrape.com/。我能够通过class =“quote”获得所有div。想用class =“quote”循环div的列表，并使用xpath从这个父元素获取多个数据。 import dryscrape from bs4 import BeautifulSoup session = dryscrape.

1热度

1回答

drysrape安装Ubuntu服务器16.04

我在执行dryscrape和ubuntu 16.04服务器（干净安装在数字海洋上）时出现问题 - 目的是刮掉JS人口稠密的网站。我下面dryscrape从here安装说明： apt-get update apt-get install qt5-default libqt5webkit5-dev build-essential \ python-lxml python-pip

0热度

1回答

JS网页抓取没有找到某些元素

我想使用Dryscrape抓取Google的酒店房间价格结果。例如rhs_block这里https://www.google.co.uk/search?q=The+Taj+Mahal+Palace+hotel 然而，它似乎不呈现，然后收集JavaScript，我想知道我可能会出错。 import dryscrape from bs4 import BeautifulSoup dryscra

1热度

2回答

通过电脑上的“浏览文件”将文件发送到网站

我正在浏览一个使用python中的dryscrape的网站，我需要将文件上传到此网站。但只有一种方法可以做到这一点，即点击按钮并浏览我的文件并选择我想要的。我如何用python来做到这一点？如果有人能帮助我使用dryscrape，我将不胜感激，但我接受所有答案。继承人的示例图像：

0热度

1回答

如何使用Python请求，会话或dryscrape维护会话cookie（在退出时过期）？

我遇到了一些麻烦，试图构建一个python机器人来检查应用程序的状态。对于解释，这里是这个过程的一个例子： 1）访问网站（https://examplewebsite.com/checkinfo.do?a=sample 2）假设查询字符串是否正确，网站将下降一个cookie。这个cookie是一个'会话cookie'，因此在退出关闭或离开网页时立即过期。一旦饼干已获得访问https://examp

-1热度

1回答

当使用代理时Dryscrape响应总是返回“产品不可用”

我试图使用dryscrape废弃基于JavaScript的网站，并且在不使用代理时得到正确的内容。但是当使用代理时，它返回“产品不可用”。这是代码片段。 session = dryscrape.Session() session.set_proxy('host=<ipaddress>', port=80, user='<username>', password='<password>') se

0热度

1回答

dryscrape：“未找到路线......”

语境：我想，因为大多数可用的工具在市场上并没有涵盖所有金融网站尚未编写自己的钱汇集。我在raspberrypi上使用python 2.7.9。感谢请求库，我设法连接到目前为止我的帐户中的两个帐户（一个贷款网站和一个用于我的养老金）。我想汇总的第三个网站给我很难从现在2周起，它的名字是https://www.amundi-ee.com。我发现这个网站实际上是在使用JavaScript，经过很

1热度

2回答

我该如何做一个dryscrape会议？

我正试图在Mac上进行一次dryscrape会话。我试图运行的代码如下： import dryscrape session = dryscrape.Session(base_url = 'http://google.com') 但是当我运行它，我得到这个权限错误： Traceback (most recent call last): File "<ipython-input-37

0热度

1回答

是否可以使用dryscape Python模块下载图像文件？

我想使用dryscrape刮一个网页，但可以保存页面中的特定图像？这是一个正常的<img>标签。

0热度

1回答

有没有加快dryscrape eval_script（）执行的方法？

我刮使用dryscrape网页（因为我需要的JavaScript渲染的部分），我使用eval_script（），以抑制一些基于JavaScript错误的网页上检查。我禁止的这个脚本基本上是一个我需要避免的onkeyup监听器，因为它使得用户只需从下拉列表中选择选项就是必需的。这就是eval脚本 - session.eval_script("$('#input_elem').removeAttr(