功能tidyr的收集和使用

Question

我有一个数据帧如下团结：

library(tidyverse) 
m <- matrix(rep(1:28,each = 10), ncol = 28) 
colnames(m) <- c("co1","col2", LETTERS) 
df <- as_tibble(m) 
df 

newdf<-df %>% 
unite("newcol", c(col1, col2), sep = " ", remove=F) %>% 
gather("col4", "col5", A:Z) 

我想写以下，并将它在sparklyr工作：

dataframe %>% 
    unite(newcol, col1, col2, sep = " ", remove=F) %>% 
    gather("col4", "col5", A:Z) 

团结：凡NEWCOL是包含col1和col2的统一值的新列名称。

收集：其中A：Z是放置在新col4中的键。 col5是将包含当前列A中的变量的新列：Z

有没有人有包装器的用户定义函数，它会在spraklyr包中使用SQL进行收集和联合函数？

Answer 1

您可以使用SQL和DBI库来实现。

假设您已将您的data.frame复制到Spark中。 （请注意，在colnames函数调用中存在拼写错误，您已将第一列的名称设置为“co1”，而不是“col1”）。现在

copy_to(sc, df) 

，您可以创建一个新的Spark表所需的列有这样的：

DBI::dbSendQuery(sc, "CREATE TABLE new_df AS 
SELECT CONCAT(t1.col1, t1.col2) AS newcol, t1.col1, t1.col2, t2.col4, t2.col5 
FROM df t1 
      LATERAL VIEW EXPLODE (map('A', A, 'B', B, 'C', C, 'D', D, 'E', E, 'F', F, 'G', G, 
      'H', H, 'I', I, 'J', J, 'K', K, 'L', L, 'M', M, 'N', N, 'O', O, 'P', P, 'Q', Q, 
      'R', R, 'S', S, 'T', T, 'U', U, 'V', V, 'W', W, 'X', X, 'Y', Y, 'Z', Z)) t2 as col4, col5 ORDER BY col4 DESC") 

现在，你可以参考这个新的Spark表和Sparklyr使用它：

ref_new_df <- tbl(sc, "new_df") 

我希望这会有所帮助。

编辑来显示结果

> copy_to(sc, df) 
> DBI::dbSendQuery(sc, "CREATE TABLE new_df AS 
+ SELECT CONCAT(t1.col1, t1.col2) AS newcol, t1.col1, t1.col2, t2.col4, t2.col5 
+ FROM df t1 
+    LATERAL VIEW EXPLODE (map('A', A, 'B', B, 'C', C, 'D', D, 'E', E, 'F', F, 'G', G, 
+    'H', H, 'I', I, 'J', J, 'K', K, 'L', L, 'M', M, 'N', N, 'O', O, 'P', P, 'Q', Q, 
+    'R', R, 'S', S, 'T', T, 'U', U, 'V', V, 'W', W, 'X', X, 'Y', Y, 'Z', Z)) t2 as col4, col5 ORDER BY col4 DESC") 
<DBISparkResult> 
    SQL CREATE TABLE new_df AS 
SELECT CONCAT(t1.col1, t1.col2) AS newcol, t1.col1, t1.col2, t2.col4, t2.col5 
FROM df t1 
      LATERAL VIEW EXPLODE (map('A', A, 'B', B, 'C', C, 'D', D, 'E', E, 'F', F, 'G', G, 
      'H', H, 'I', I, 'J', J, 'K', K, 'L', L, 'M', M, 'N', N, 'O', O, 'P', P, 'Q', Q, 
      'R', R, 'S', S, 'T', T, 'U', U, 'V', V, 'W', W, 'X', X, 'Y', Y, 'Z', Z)) t2 as col4, col5 ORDER BY col4 DESC 
    ROWS Fetched: 0 [complete] 
     Changed: 0