使用download.file从下载HTTPS文件（）

Question

我想使用download.file()将在线数据读取到R，如下所示。

URL <- "https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv" 
download.file(URL, destfile = "./data/data.csv", method="curl") 

有人建议，我认为我行添加setInternet2(TRUE)，但它仍然无法正常工作。

我得到的错误是：

Warning messages: 
1: running command 'curl "https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv" -o "./data/data.csv"' had status 127 
2: In download.file(URL, destfile = "./data/data.csv", method = "curl", : 
    download had nonzero exit status 

感谢你的帮助。

Answer 1

这可能是最简单的尝试RCurl包。安装包，请尝试以下操作：

# install.packages("RCurl") 
library(RCurl) 
URL <- "https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv" 
x <- getURL(URL) 
## Or 
## x <- getURL(URL, ssl.verifypeer = FALSE) 
out <- read.csv(textConnection(x)) 
head(out[1:6]) 
# RT SERIALNO DIVISION PUMA REGION ST 
# 1 H  186  8 700  4 16 
# 2 H  306  8 700  4 16 
# 3 H  395  8 100  4 16 
# 4 H  506  8 700  4 16 
# 5 H  835  8 800  4 16 
# 6 H  989  8 700  4 16 
dim(out) 
# [1] 6496 188 

download.file("https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv",destfile="reviews.csv",method="libcurl") 

Answer 2

我用下面的代码成功：

url = "http://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv" 
x = read.csv(file=url) 

注意，我从HTTPS到HTTP更改了协议，因为第一个在R中似乎不受支持。

Answer 3

127表示未找到命令

在你的情况下，没有找到curl命令。因此，这意味着，没有发现卷曲。

您需要安装/重新安装CURL。就这样。从http://curl.haxx.se/download.html获取最新版本

安装前关闭RStudio。

Answer 4

如果使用RCurl，GetURL（）函数会出现SSL错误，然后在GetURL（）之前设置这些选项。这将全局设置CurlSSL设置。

扩展代码：

install.packages("RCurl") 
library(RCurl) 
options(RCurlOptions = list(cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl"))) 
URL <- "https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv" 
x <- getURL(URL) 

使用R3.1.0为我工作在Windows 7 64位！

Answer 5

与UseR（原始问题）完全相同的问题，我也使用Windows 7.我尝试了所有建议的解决方案，他们没有工作。

我解决了这个问题做如下：

1. 使用，而不是[R控制台RStudio。

2. 实现R的版本（从3.1.0到3.1.1），以便库RCurl在其上运行OK。 （我现在使用的是R3.1.1 32bit，虽然我的系统是64位）。

3. 我将URL地址键入为https（安全连接），并使用“/”而不是反斜杠“\”。

4. 设置方法=“自动”。

它现在适用于我。您应该看到以下消息：

内容类型'text/csv;字符集= UTF-8' 长度9294字节 打开URL 通过

Answer 6

下载9294这里是为十一月的2014年。我发现，设置method='curl'奏效了，我（而method='auto'，没有）的更新。

例如：

# does not work 
download.file(url='https://s3.amazonaws.com/tripdata/201307-citibike-tripdata.zip', 
       destfile='localfile.zip') 

# does not work. this appears to be the default anyway 
download.file(url='https://s3.amazonaws.com/tripdata/201307-citibike-tripdata.zip', 
       destfile='localfile.zip', method='auto') 

# works! 
download.file(url='https://s3.amazonaws.com/tripdata/201307-citibike-tripdata.zip', 
       destfile='localfile.zip', method='curl') 

Answer 7

您可以设置全局选项和试戴

options('download.file.method'='curl') 
download.file(URL, destfile = "./data/data.csv", method="auto") 

有关问题指链路 https://stat.ethz.ch/pipermail/bioconductor/2011-February/037723.html

Answer 8

提供卷曲包作为替代，我从联机数据库提取大型文件时发现可靠。在最近的一个项目中，我不得不从一个在线数据库下载120个文件，发现它只有一半的传输时间，并且比download.file更可靠。

#install.packages("curl") 
library(curl) 
#install.packages("RCurl") 
library(RCurl) 

ptm <- proc.time() 
URL <- "https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv" 
x <- getURL(URL) 
proc.time() - ptm 
ptm 

ptm1 <- proc.time() 
curl_download(url =URL ,destfile="TEST.CSV",quiet=FALSE, mode="wb") 
proc.time() - ptm1 
ptm1 

ptm2 <- proc.time() 
y = download.file(URL, destfile = "./data/data.csv", method="curl") 
proc.time() - ptm2 
ptm2 

在这种情况下，您的网址的粗略计时显示传输时间没有一致的差异。在我的应用程序中，通过在脚本中使用curl_download从网站选择并下载120个文件，可将传输时间从每个文件2000秒减少到1000秒，并将120个文件中的可靠性从50％提高到2个故障。这个脚本发布在我之前问过的问题的答案中，请看。

Answer 9

尝试重文件

library(data.table) 
URL <- "http://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv" 
x <- fread(URL)