我读过这个问题,但我使用不同的东西做的东西,How can I log into a website using python?我怎样才能登录到网站,并在Python
我使用Scrapy关于网络爬虫的,我不希望使用机械化。
我想要做的就是登录到网站我使用Python,然后我必须提交使用从数据库中我的数据形式。
提供的所有数据是有效的。我怎样才能做到这一点与scrapy。或者我还需要使用任何其他库?
我读过这个问题,但我使用不同的东西做的东西,How can I log into a website using python?我怎样才能登录到网站,并在Python
我使用Scrapy关于网络爬虫的,我不希望使用机械化。
我想要做的就是登录到网站我使用Python,然后我必须提交使用从数据库中我的数据形式。
提供的所有数据是有效的。我怎样才能做到这一点与scrapy。或者我还需要使用任何其他库?
有伐木的scrapy文档到网站an example开始爬网之前。
您可以与您的用户数据发送请求给身份验证控制器。例如,您的站点从站点获取来自表单的POST请求。所以你可以直接发送POST请求给它。
退房类似的问题在这里:How to use Python to login to a webpage and retrieve cookies for later usage?
退房URLib:http://docs.python.org/2/library/urllib.html
这应该回答你的问题,但是请记住,你必须满足登录到一些网站验证位。我建议寻找与此相关的OpenID和python库。
相关:[在Scrapy认证的会话爬行(http://stackoverflow.com/questions/5851213/crawling-with-an-authenticated-session-in-scrapy) – jfs