刮掉NBA.com的数据

我试图从http://stats.nba.com/team/#!/1610612742/刮掉关于名单数据的数据。到目前为止，我已经试过RCurl和XML封装，心中已经试过代码如下：刮掉NBA.com的数据

library(RCurl) 
library(XML) 
webpage <- getURL("http://stats.nba.com/team/#!/1610612742/") 
webpage <- readLines(tc <- textConnection(webpage)); 
pagetree <- htmlTreeParse(webpage, useInternalNodes = TRUE) 
x <- unlist(xpathApply(pagetree,"//*nba-stat-table_overflow/player",xmlValue)) 
Content <- gsub(pattern = "([\t\n])", 
      replacement = " ", x = x, ignore.case = TRUE)

我相信我的xpathApply功能被误格式化。我应该选择什么样的路径才能进入名单表？

来源

2017-02-18 Tim Sauchuk

它看起来像通过JavaScript以某种方式加载数据，这意味着你需要拉动HTML像RSelenium，它可以控制浏览器实际运行必要的脚本。 [这是一个例子。]（http://stackoverflow.com/a/41497119/4497050）当然，一定要阅读条款和条件;他们是相当慷慨的，但非常具体的如何使用他们的统计数据。 – alistaire

我很抱歉，这只是一个网上抓取作业的作业 –

没有道歉的必要;这不是最简单的页面。维基百科是一个更容易实践的网站。 – alistaire

你可以这样做：

require(rvest) 
require(httr) 
require(purrr) 


ses <- html_session("http://stats.nba.com/team/#!/1610612742/", 
        user_agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36")) 
doc <- ses %>% jump_to("http://stats.nba.com/stats/commonteamroster?LeagueID=00&Season=2016-17&TeamID=1610612742") 
res <- content(doc$response, "parsed") 

res$resultSets[[1]]$rowSet %>% 
    map_df(~as.data.frame(t(.))) 

#   V1 V2 V3     V4 V5 V6 V7 V8   V9 V10 V11    V12  V13 
#1 1610612742 2016 00  Justin Anderson 1 G-F 6-6 228 NOV 19, 1993 23 1   Virginia 1626147 
#2 1610612742 2016 00   J.J. Barea 5 G 6-0 185 JUN 26, 1984 32 10  Northeastern 200826 
#3 1610612742 2016 00  Andrew Bogut 6 C 7-0 260 NOV 28, 1984 32 11    Utah 101106 

res$resultSets[[2]]$rowSet %>% 
    map_df(~as.data.frame(t(.))) 

#   V1 V2  V3  V4  V5    V6    V7 V8          V9 
#1 1610612742 2016 CAR107961 Rick Carlisle  Rick Carlisle  rick_carlisle 1        Head Coach 
#2 1610612742 2016 HUN524472 Melvin  Hunt  Melvin Hunt  melvin_hunt 2      Assistant Coach 
#3 1610612742 2016 CAN081621 Kaleb Canales  Kaleb Canales  kaleb_canales 2      Assistant Coach

我是怎么找到这个：

我检查所有的XHR调用该网站取得，发现它需要一个会话（这就是为什么我创建一个使用html_session），并设置一个用户代理（不知道这是真正需要的...）没有UA我的要求就卡住了> 30秒......