使用RSQLite将列追加到R中的SQLite表

Question

我有两个大数据框，我想用外部连接merge()，但连接的表对RAM太大。我的解决方法是使用RSQLite包到外部联接并将联接的表存回数据库。

我想在这个连接表中的列上使用R函数，但我无法弄清楚如何在连接表中追加一列。我知道如何处理dbWriteTable()（如下所示），但这不是一个选项，因为连接表比RAM大。

library(RSQLite) 
left <- data.frame(let = letters[rep(1:4, each = 5)], num = 1:20) 
right <- data.frame(let = letters[rep(1:4, each = 5)], num = 21:40) 
con <- dbConnect(dbDriver("SQLite"), dbname = tempfile()) 
dbWriteTable(con, "left_table", left, row.names = F) 
dbWriteTable(con, "right_table", right, row.names = F) 
dbGetQuery(con, "CREATE TABLE merged_table (letters TEXT, left_num INTEGER, right_num INTEGER)") 
dbGetQuery(con, "INSERT INTO merged_table SELECT * FROM left_table LEFT OUTER JOIN right_table USING (let)") 
fun <- function(x) rowSums(x) 
temp <- dbReadTable(con, "merged_table") 
dbWriteTable(con, "merged_table_new", cbind(temp, fun(temp[, 2:3]))) 
dbDisconnect(con) 

我听说数据库上的行工作，所以我怀疑是正确的解决方案可能只是通过行周期，附加到每一行的条目，但我不知道如何实现。谢谢！

（还有什么神圣约的SQLite这里，我只是认为这将是这个特设分析更好。）

---

编辑：我在dbGetPreparedQuery()了解了bind.data选项，并意识到我需要一个读取和写入连接到数据库，但我仍然有一些问题（即数据库没有INSERT）。该脚本运行没有错误，但也没有所需的结果。

library(RSQLite) 
left <- data.frame(let = letters[rep(1:4, each = 5)], num = 1:20) 
right <- data.frame(let = letters[rep(1:4, each = 5)], num = 21:40) 
my.tempfile <- tempfile() 
con.write <- dbConnect(dbDriver("SQLite"), dbname = my.tempfile) 
con.read <- dbConnect(dbDriver("SQLite"), dbname = my.tempfile) 
dbWriteTable(con.write, "left_table", left, row.names = F) 
dbWriteTable(con.write, "right_table", right, row.names = F) 
dbGetQuery(con.write, "CREATE TABLE merged_table (letters TEXT, left_num INTEGER, right_num INTEGER)") 
dbGetQuery(con.write, "INSERT INTO merged_table SELECT * FROM left_table LEFT OUTER JOIN right_table USING (let)") 
dbGetQuery(con.write, "ALTER TABLE merged_table ADD COLUMN sum INTEGER") 
dbGetQuery(con.write, "ALTER TABLE merged_table ADD COLUMN mean INTEGER") 

res <- dbSendQuery(con.read, "SELECT left_num, right_num FROM merged_table") 
while (!dbHasCompleted(res)) { 
    data.1 <- fetch(res) 
    data.2 <- data.frame(rowSums(data.1), rowMeans(data.1)) 
    dbGetPreparedQuery(con.write, "INSERT INTO merged_table (sum, mean) VALUES (?, ?)", bind.data = data.2) 
} 
dbClearResult(res) 

dbGetQuery(con.read, "SELECT * FROM merged_table LIMIT 5") 

给

letters left_num right_num sum mean 
1  a  1  21 NA NA 
2  a  1  22 NA NA 
3  a  1  23 NA NA 
4  a  1  24 NA NA 
5  a  1  25 NA NA 

，但我预计

left_num right_num sum mean 
1  1  21 22 11.0 
2  1  22 23 11.5 
3  1  23 24 12.0 
4  1  24 25 12.5 
5  1  25 26 13.0 

Answer 1

的SQLite的专家也许能够改善这一点的解决方案，但你可以通过运行这个权利这样使用单个查询完成创建完成后merged_table：

dbGetQuery(con, "INSERT INTO merged_table SELECT 
        letters,left_num,right_num,left_num+right_num row_sum FROM 
        (SELECT let letters,left_table.num left_num, right_table.num right_num FROM 
         left_table LEFT OUTER JOIN right_table USING (let))") 

这是一种丑陋的SQL，我想，但它似乎工作。如果要添加两列以上，则可以使用R中的paste（如果需要）构建查询的列添加部分。

其他需要调查的事项可能是使用ALTER TABLE添加附加列，然后分批批量更新。我花了一两分钟的时间玩了这个游戏，但是没有成功，但这并不意味着这是不可能的。

编辑

下面的代码创建你想要的输出。我现在很急（在出门时），所以while循环会引发错误，因为循环在到达退出条件之前达到了数据的末尾，所以最后一次通过您一个空的data.1数据帧导致bind.data中的错误。但是如果你运行最后一个查询，你会看到所有的数据都被插入。

library(RSQLite) 
left <- data.frame(let = letters[rep(1:4, each = 5)], num = 1:20) 
right <- data.frame(let = letters[rep(1:4, each = 5)], num = 21:40) 
conn <- dbConnect(dbDriver("SQLite"), dbname = "sotemp.db") 
conn.copy <- dbConnect(dbDriver("SQLite"), dbname = "sotempCopy.db") 
dbWriteTable(conn, "left_table", left, row.names = F) 
dbWriteTable(conn, "right_table", right, row.names = F) 
dbGetQuery(conn, "CREATE TABLE merged_table1 (letters TEXT, left_num INTEGER, right_num INTEGER)") 
dbGetQuery(conn.copy, "CREATE TABLE merged_table2 (letters TEXT, left_num INTEGER, right_num INTEGER, rowSum INTEGER, 
          rowMean REAL)") 

dbGetQuery(conn, "INSERT INTO merged_table1 SELECT * FROM left_table LEFT OUTER JOIN right_table USING (let)") 

res <- dbSendQuery(conn, "SELECT letters, left_num, right_num FROM merged_table1") 
while (!dbHasCompleted(res)) { 
    data.1 <- fetch(res,n=5) 
    data.1 <- cbind(data.1,rowSums(data.1[,2:3]),rowMeans(data.1[,2:3])) 
    colnames(data.1)[4:5] <- c("rowSum","rowMean") 
    dbGetPreparedQuery(conn.copy, "INSERT INTO merged_table2 (letters, left_num, right_num,rowSum, rowMean) VALUES 
         (?, ?, ?, ?, ?)", bind.data = data.1) 
} 
dbClearResult(res) 

dbGetQuery(conn.copy, "SELECT * FROM merged_table2") 

这并不完美。我希望其他人能摆脱并编辑/添加到此。关于您的解决方案无法正常工作的一些说明。

首先，INSERT将新行添加到表中。你似乎期待它改变列中的值，这通常是UPDATE完成的工作，这可能会很麻烦。

其次，我不确定单独的读/写连接会为您购买任何东西。 SQLite不支持完整的读/写并发，即使使用单独的连接。因此，直到您清除SELECT的结果为止，您在尝试写入时会遇到锁定错误。第三，我在这里用于批处理的策略是创建两个单独的数据库，循环遍历第一个SELECT的结果，在R中创建新列，然后将生成的数据输入第二个数据库。