通过用户登录从其他网站导入用户帐户数据

dealsgoround.com和citypockets.com从livingsocial.com和其他每日交易网站访问用户帐户及其每日交易。这些网站要求用户提供他们的凭据，以便将其登录到各自的网站，然后导入帐户详细信息。 LivingSocial和其他交易网站不提供API访问用户帐户。通过用户登录从其他网站导入用户帐户数据

我也希望能够访问其他网站并从那里导入数据。但我无法找出dealsgoround.com和citypockets.com从Groupon和LivingSocial等导入数据的后端程序。

现在，我能够发现可以使用网页抓取工具/蜘蛛来从网页中提取数据。但我不确定在需要用户登录并且页面URL加密或至少是动态生成的URL的情况下，Web爬虫可能很有用。

请帮助我，并建议我一种方法来做到这一点。如果抓取工具是解决此问题的方法，请提供一些可以在我的.net应用程序中使用的网络抓取工具API的链接。

由于

与Atif

2011-09-09 Atif

请为你的问题是什么更清晰。尽量避免提出多个问题。 – Merlin

是的，我之前看过那个，试过了。我能够发送登录信息，但之后它正在重新定向，不让我继续。 – 2011-11-24 19:02:20

...是网络爬虫是在这种情况下的解决方案。

我们可以使用PHP，ASP.net或任何其他服务器端脚本语言发送httppostrequest带有后置参数（用户名/密码）。这将验证（登录）用户。登录后，我们可以读取任何已登录用户信息的网址内容。

注：在我而言，这不是用户帐户未经授权的访问为用户提供他们自己的凭据导入从交易网站的数据为dealsgoround.com和citypocket.com

2011-09-19 13:04:00 Atif

在使用替代凭证诸如Facebook或谷歌ID登录的能力被称为打开验证或OAuth的（发音宣誓）。

顺便提一句，您不应该在没有用户明确许可的情况下导入数据，并且要警惕安全问题。

有很多可用的文档，其中很多很重。开始的最好的地方就是阅读说明书RFC 5849

的OAuth的网站也是我能找到答案有用http://oauth.net

2011-09-13 14:37:40 Merlin

回答