wget

9热度

1回答

我试图使用wget递归地从特定网站抓取.jpg文件，以期为我自己创建一个有趣的屏幕保护程序。真的不是这样一个崇高的目标。问题是，图片托管在其他地方（mfrost.typepad.com），而不是网站的主域（www.cuteoverload.com）。我曾尝试使用“-D”来指定允许的域名，但可悲的是没有可爱的jpgs即将出现。我怎么能改变下面的线来完成这项工作？ wget -r -l2 -np

1热度

2回答

如何在Wget中为未完成的下载设置临时目录？

我试图在FTP服务器上镜像文件。这些文件可能非常大，因此下载可能会中断。我想保留原始文件，同时将部分文件下载到临时文件夹，并且一旦完成覆盖本地旧版本。我可以这样做吗？怎么样？是否有另一个易于使用（命令行）的工具，我可以使用？

8热度

4回答

为什么wget不接受我的用户名/密码？

我都试过 wget --user=myuser --password=mypassword myfile 和 wget --ftp-user=myuser --ftp-password=mypassword myfile ，但我不断收到错误 HTTP request sent, awaiting response... 401 Authorization Required Authori

0热度

7回答

通过ssh通过wget从bash文件下载超过100,000个文件有多可靠？

我有一个bash文件，其中包含wget命令以下载总计大约20GB数据的100,000个文件。 bash的文件看起来像： wget的http://something.com/path/to/file.data wget的http://something.com/path/to/file2.data wget的http://something.com/path/to/file3.data wget的h

0热度

4回答

wget错误破解shell脚本 - 如何防止这种情况？

我有一个巨大的文件，有很多链接到各种类型的文件下载。每一行是一个下载命令，如： wget的 'URL1' wget的 'URL2' ... ，有上千种之多的。不幸的是一些URL看起来非常丑陋，例如： http://www.cepa.org.gh/archives/research-working-papers/WTO4%20(1)-charles.doc 它在浏览器中打开确定，但会混淆wget。

421热度

12回答

使用wget递归获取一个包含任意文件的目录

我有一个Web目录，我在其中存储一些配置文件。我想使用wget来拉下这些文件并保持其当前结构。例如，远程目录如下所示： http://mysite.com/configs/.vim/ .vim保存多个文件和目录。我想用wget在客户端复制它。似乎无法找到正确的组合wget标志来完成这件事。有任何想法吗？

1热度

1回答

如何让Wget处理HTTP 100-继续响应？

我想发布一个HTML（包含在文件中）使用Wget这样的URL： wget -O- --debug --header=Content-Type:text/html --post-file=index.html http://localhost/www/encoder.ashx 到的HTML被发布的URL是用ASP实现的Web应用程序的终点。净。服务器回复100 (C

8热度

5回答

从wget解析http响应标头

我试图从wget的结果中提取一行，但遇到问题。这是我的wget电话： $ wget -SO- -T 1 -t 1 http://myurl.com:15000/myhtml.html 输出： --18:24:12-- http://xxx.xxxx.xxxx:15000/myhtml.html => `-' Resolving xxx.xxxx.xxxx... xxx.x

0热度

4回答

以编程方式登录论坛，然后屏幕截图

我想登录到社区服务器的论坛部分（例如http://forums.timesnapper.com/login.aspx?ReturnUrl=/forums/default.aspx），然后下载特定页面并执行正则表达式（查看是否有任何帖子在等待审核）。如果有，我想发一封电子邮件。我想从Linux服务器上执行此操作。当前我知道如何下载一个页面（例如使用wget），但登录时出现问题。任何明智的想法如何

7热度

4回答

Web蜘蛛与Wget的蜘蛛有什么不同？

接下来的一句话引起了我的眼睛在Wget的手册 wget --spider --force-html -i bookmarks.html This feature needs much more work for Wget to get close to the functionality of real web spiders. 我找到相关的代码在wget的蜘蛛选项以下行。 src/ftp