wget

-2热度

1回答

我应该编写一个sh脚本，下载一个文件（大约100MB-100GB），并在mysql数据库中每10秒写入一次进度（百分比，下载速度，剩余时间）。有人能帮助我吗？谢谢！有一个愉快的一天:)

0热度

1回答

我想递归地获取从维基页面链接的所有页面。我已经尝试了许多不同的wget递归选项，它们都具有相同的结果：只有给定URL中的html文件被下载，而不是从该html页面链接的任何页面。如果我使用--convert-links选项，wget会将未提取的链接正确转换为正确的网页链接。它只是不递归地下载这些链接的页面。 wget --verbose -r https://wiki.gnome.org/Out

0热度

1回答

使用wget下载pdf文件。（文件扩展名后的字符？）

我试图从网页递归下载所有.pdf文件。的文件URL具有以下格式： "http://example.com/fileexample.pdf?id=****" 我使用这些参数：保存时 wget -r -l1 -A.pdf http://example.com wget的被拒绝的所有文件。使用--debug时出现这个错误： Removing file due to recursive reje

0热度

1回答

带有Dropbox链接的“wget -N”永远在下载（即使文件没有改变）

理论上，wget -N应该检查文件的本地副本是否比服务器上的更新，并且在这种情况下它应该不要重复下载。我发现，对于Dropbox链接，这不会发生。该文件总是被下载。例如，尝试做多次 wget -N https://www.dropbox.com/s/pilu0oufcvrz452/ciaociao ，你会看到，尽管-N开关，该文件不断下载。你知道这是为什么吗？有没有办法在下载之前测试服务器

0热度

1回答

wget -o命令输出生成多个文件，是否有可能只有一个？

我正在执行“wget -o”，并且由于输出大于预期，所以它被分割为多个文件。有没有办法只得到一个文件？如果这是可能的，我宁愿只使用命令wget。，我执行命令wget的是： $ wget -o neighborhoods.json https://raw.githubusercontent.com/mongodb/docs-assets/geospatial/neighborhoods.json

0热度

1回答

如何控制shell脚本中后台作业的数量

我有一个shell脚本来下载一批文件并希望控制它具有一定数量的后台下载作业。

0热度

1回答

我如何能够遍历它遇到的所有符号链接？

问题 wget没有遍历到目录的符号链接以递归方式下载链接的文件夹。化背景按了wget的man page：默认情况下，递归检索FTP目录，并遇到一个符号链接时，符号链接被遍历和所指向的文件检索。目前，Wget不会遍历到目录的符号链接，以递归方式下载它们，尽管未来可能会添加此功能。问题我想备份/镜像所有的ftp://l5ftl01.larc.nasa.gov/和有成千上万的符号/硬链接到其他

1热度

1回答

nginx响应远程登录，但不是wget /浏览器

我的个人网站由nginx托管。我尝试了wget和得到这个：我尝试远程登录使用相同的HTTP标头和telnet是确定的：浏览器的行为与wget的相同。这使我困惑了好几天。

0热度

1回答

volafile上的Wget 403错误

我总是使用wget从我个人的volatile文件夹下载文件。这个问题几个月前就出现了。很多时候（但不总是），当我尝试下载一个文件，wget的： wget -U Mozilla -o Log_err.txt -O output.file "https://volafile.io/get/LglqaCs-mtoH/test_file.txt" 程序无法获取文件（错误403：禁止）。下面是日志：

2热度

1回答

需要帮助创建Cron来每天下载XML文件

我想创建一个cron作业来每天在午夜下载xml文件。我想覆盖任何预先存在的文件。我试图 1 0 *** usr/bin/wget http://ace-tv.xyz:25461/xmltv.php?username=xxxx&password=xxxx --output-file=/home/username/myxmlfile.xml 我得到一个200 OK连接...但没有下载。我认为